小次郎山城は、鹿野山から北に向かう県道「小櫃佐貫停車場線」が、県道「萩作君津線」と合流する５００ｍほど手前の東側の山中にあった。東側の斜面の一部は土砂の採取によって削られてしまっているが、郭の跡が認められるという。しかし、実際訪れてみても、あるのは自然地形の尾根ばかりであった（しかもヤブが多い尾根で写真撮影もままならない）。自然地形を利用しただけのものといってしまえばそれまでだが、少なくとも、きちんとした城郭的構造物は見られない。
付近には「木戸」という地名が残されているということで、これが城の存在を暗示しているといえば言える。
城址の東１ｋｍほどの所に、小糸城城主秋元氏の菩提寺である天南寺があるが、この寺院の詰めの城であったと言われている。しかし、詳しいことは分からない。いずれにせよ、人里からはかなり離れたところにあるので、臨時の避難所として意識されていた城郭であったのかもしれない。
小次郎山という名も何か由来がありそうだが、残念ながら未詳である。秋元氏の一族で小次郎を称した者と関連しているのであろうか。
