四日目の早朝、秀吉は木造、関、長野の伊勢侍だけを前線に立たせて戦わせ、弟秀長の配下に矢文を射させた。
『攻めるも伊勢侍、守るも伊勢侍のみで何とも痛ましい限りである。無益な戦は止めにしたい』
　矢文は阿坂城将遠藤五郎左衛門の陣内に落ちた。遠藤は子の篠助と密談、一族郎党を助ける条件で織田に内通することにし、身内の者に命じて城内の火薬に水を掛けさせ、裏城戸よりコッソリと逃亡した。遠藤父子に寝返るように働きかけたのは浅井の家臣で同族の遠藤喜右衛門であったとされる。藤吉郎は遠藤父子の手引きで、間道より二百の兵を潜入させ要の曲輪を攻撃、難攻不落の城も次第に攻め込まれ、とうとうに落城の憂き目を見た。
　大宮入道含忍斎、武蔵守、大之丞らの主だった城将らは血路を開いて矢頭峠越えに大河内城へ落ちていった。具教は、阿坂が落城した段階で、信長の進路に牽制のため配置した軍団のすべてを大河内城に終結させ、本丸決戦に備えた。その後の阿坂城には滝川左近将監大伴宿祢一益の軍勢が押さえとして入城した。