＊鳥瞰図の作成に際しては、現地案内版の図を参考にした。国道１５３号線を北上し、子生沢川橋を渡って飯島町に入ると、もうそこが城内である。
城は大きく2つの区画に分かれている。1つは台地下にある城山を中心とした城である。 ここには深い堀によって区画された５つの郭があり、連郭式の城となっている。
一番先端部が城山であり主郭であると思われるが、そこかから見ると4郭、5郭はかなり高いところにある。末端の郭の方が高位な位置にあるという構造であるが、これは地形なりに仕方のなかったことなのかもしれない。主郭部が低い位置にある、いわゆる「穴城」というやつであろう。
このうち4郭の中心部を国道が貫いている。国道の東側には土塁状の高まりが見られるが、これは土塁ではなく、削り残された郭の一部である。
ここから見ると、１，２，３郭はかなり下の方にある。しかし、2郭と3郭との間の堀は見えている。
1郭との間は一見つながっているように見え、すぐに案内版のところまで、行けそうに見えるのだが実際には1郭の手前には古城窪と呼ばれる、幅３０ｍほどもある堀が横たわっている。近くまで行ってびっくりするほどの堀である。深さも１０ｍほどある。
この下の城に対して、比高５０ｍほど上の台地縁部にも、城郭遺構が存在する。これが上の城ともいうべき場所で、「本城」と呼ばれている。
台地上は大規模な耕地整理が行われたようで、遺構のかなりの部分が失われてしまっているのだが、1郭を中心に高い土塁と深い堀が残されている。
案内版を見ると、この図のような構造であったようで、直線連郭式の下の城山とは異なり、梯郭式の構造となっていた。特に登城の北側の大手方向は二重堀となっていた。
ところで、この上の城と下の城とはどのような関係にあったものだろうか。普通に考えれば「居住地区」と「詰めの城」とでも見るべきところであるが、どちらの城もかなりの規模があり、それ相応に堅固である。関連した1つの城というよりは、それぞれ独立した別の城のような印象も感じられる。
いずれにせよ、飯島氏の勢力の大きさを感じさせる城である。
飯島氏は片桐氏の一族で、現在の飯島町を中心に勢力を誇っていた。武田信玄の伊那侵攻後は、武田氏に従うようになる。
天正10年（１５８２）、織田氏による信濃侵攻が行われ、木曾氏、小笠原氏、松岡氏など多くの豪族が寝返る仲、飯島氏は、飯島城に拠って、織田方に抵抗した。『信長公記』には、大島城を陥落させた後の織田軍が、飯島城の攻撃に向かったことが書かれている。
しかし、織田方の圧倒的な勢力の前には、1豪族に過ぎない飯島氏はたいして抵抗もできなかったのではないだろうか。飯島城は落城し、以後は廃城となったと思われる。
飯島陣屋は、ＪＲ飯田線飯島駅の北西６００ｍほどのところにある。復元された陣屋建築があり、あちこちに案内表示が出ている。陣屋跡の南側には無料の駐車場も完備している。入場料は300円である。
