大河内合戦ののち隠居し、元亀二年にこの地に築城した具教は、彼を慕う旧臣から三瀬谷の大御所とよばれた。　三瀬谷に城を移した時、具教は与志摩に告げている。
「この場所を選んだのは、何事か起こった時には、大杉谷に引き籠もり、再起を期することが出来るからじゃ」
　三瀬谷に逼塞したとは言うもの、大杉谷の樹海に逃げ延びてまでも御家再興を願う具教の言葉を聞いたとき、与志摩は人知れず目頭を拭った。入城後、城の東に位置する茶臼山（百五十㍍）と西方の八幡山（百八十㍍）の両頂に密かに見張り台を置いて、織田の動きを監視させたのも、具教の胸中に織田の支配を脱したいという熱い思いがあったからである。
　両見張り台を上目遣いに窺いながら馬を飛ばした四郎左衛門はなにごともなかった風に三瀬谷の城に帰り、その日は何時もと変わらぬ近習の職務を果たし終えた。
　深更に及び、具教の居館山里丸の番衆も数人を残すだけになると、四郎左衛門は近習としての役目柄、臆することなく書院に入り、刀架けに架けてある主君の太刀すべてに細工を施した。
「三瀬の大御所は剣聖、塚原土佐守卜伝から『一の太刀』の免許皆伝を授けられた剣の達人、大御所に太刀を抜かせてはならぬぞ」
　これが舟奉行の兄から受けた密命の一つであった。