逃げる安倍貞任に追う源義家、義家は卑怯者！逃げるな！引き返せ！」と叫ぶ。しかし貞任は、馬上で逃げ続ける。その背後に向かって義家は叫んだ。「衣のたてはほころびにけり！」
歌の下の句である。それを聞いた貞任は、馬を留め振り返って、返事をした。
「年を経し糸の乱れの苦しさに」
義家の下の句に対してとっさに上の句を付けたというのであった。「たて」は「館」と「縦糸」、「ほころぶ」は「館が破れる」のと「糸がほころぶ」のを掛けている。戦いのさなかにこのような当意即妙の受け答えができるとは、なんと優雅なことであろうか。これは「古今著聞集」に載っている有名なエピソードであるが、最後に作者はこう言っている。「さばかりの戦いの中にやさしかりけることかな」と。
このエピソードを読んでから、一度安倍館には来てみたいものだと思っていた。上記の歌のやりとりもさることながら、義家が安倍館を攻める場面は次のように具体的に描写されている。
「衣川の館、岸高く川ありければ、楯をいただきて甲に重ね、筏（いかだ）を組みて攻め戦ふに、貞任ら耐えずして、ついに城の後より落ちける。」
城を攻める様子がこのように具体的に描かれている古典は意外と珍しいのである。安倍氏の館は、衣川に臨む河岸段丘上にあったので、義家らは筏を組んで川を渡って、台地をよじ登って攻めようとした。しかし上から矢を放って防戦してくるので、源氏軍は、甲の上に楯を重ねて、それを防ぎつつ、台地の斜面を攻め上がるのである。この場面、手に取るように想像できる。
こうしたこともあって、一度、安倍館の立地条件を見てみたかったと言うこともあった。
上記のエピソードからして、館は河岸段丘の縁を利用した実質的には城郭なのではないかと想像していたが、それはちょっと違っているようである。確かに河岸段丘と背後の山稜とに囲まれた台地部分がその領域ではあるが、館は縁ではなく山稜寄りに築かれていたらしい。耕地整理が進んでいて、現在ではその形態を見ることはできないが、方形の館ではなかったかと思われる。西館、東館という２つの館から形成されていたようである。衣川は現在ではそれほど水量も多くなく、筏をたくさん並べて渡るほどの川ではなく、徒歩で渡れそうである。しかし、河岸段丘は古典にあるとおりであり、この断崖を源氏軍はよじ登っていったのであろうか。
場所は衣川村役場の南側対岸辺りである。「安倍館橋」という橋があり、これを渡っていけばすぐである。
もう１つ、このエピソードで最も印象に残っている場面は、実は戦いではなく、その前の行軍シーンである。安倍館を攻めたのは冬のことで、源氏の進軍中に雪がはらはらと降ってきた。雪中行軍を進める源氏軍の鎧には雪が降り積もり、男どもの鎧はみな白妙になってしまったという。雪の中、白妙になりながら雪中行軍するこの様子が、脳裏に焼き付いて離れないのである。
