高柳城は、町民の森と低地を挟んで向かい合う比高8ｍほどの台地北部にあったという。善龍寺の北側の山林がその中心部であったと見られる。善龍寺の背後は比高7ｍほどの土手となっており、寺院の建設に伴って、土手はいくぶん削られているようである。その背後の山林には１の郭と思われるスペースがある。１の東側は高さ３ｍほどの切岸状の土手となっており、いかにも城郭の跡のように見える。
この1郭は南端部分に、Aの方形の区画を伴っている。あるいはこれは枡形の名残であるかとも思われるのだが、Aの東側の堀などは非常に痕跡的になっていて、本当に枡形であったのかどうかはちょっと心もとなくも思われる。
1郭東側の城塁を見ると、間違いなく城郭に思えるのであるが、肝心の1郭の内部そのものは、はなはだ削平が不十分な状態であり、建物が建ち並んでいたとはちょっと想像しにくい。もしこれが城であったとしても、恒久的なものではなく、たとえば戦時に臨んで急造された陣城のようなものであったと解釈したくなる所である。
1郭の東側は畑となっているが、ここにはわずかな段差も見られる。しかし、これは畑の造成に伴うものである可能性もある。
県道沿いに南側に進んでいくと、Fの部分に切り通しの道が見られ、その脇には竪土塁のようなものが見える。北側には段々の平場もあり、あるいはこれは腰曲輪の名残であろうか。
土塁のようなものは県道を挟んで東側の山林内部にも見られる。だいたいは図に示した通りであるが、土塁と言っても、高さは１ｍ未満のものであり、城郭遺構としてははなはだ心もとない。Dの土塁だけは、場所によっては高さが２ｍ近くある部分もあり、城塁状を成しているともいえるが、堀状の窪みもきわめて浅いものにしか過ぎない。
これらの土塁の配置も含めて、城郭としての形態をトレースすることは難しく、どちらかと言うと、野馬除けの土手か、あるいは畑か宅地の仕切り土塁のように見た方がよいのではないかと思われる。したがって、県道東側の山林内部のこれらの土塁については、城郭遺構であるとは断定しがたい。
しかし、Ｂの部分に見られる窪みは、１から続く城郭の、台地基部とを区画する堀の名残であった可能性がある。ただ、この辺りは特にヤブがひどいといったこともあり、堀としての形状は把握できていない。
このように見てくると、高柳城には部分的に城郭遺構のようなものが見られるものの、きちんとした城郭であったとは思われない。城郭関連地名が乏しいことともあわせて考えてみると、これが本当に城であったとしても、上記の通り、陣城のような一時的なものであったと見るのがよいのではないかと思われる。
室町時代以降、高柳の地は相馬氏の支配領域であった。したがって、高柳城にも相馬氏の一族がいたと思われる。『東葛の中世城郭』では高柳城主相馬氏は、相馬岡田氏であるとしている。
戦国期になり、小金城の高城氏の勢力が浸透してくると、高柳城も高城氏の支配化に置かれたのではないかと想像される。
殿山城は、