ところが、観世音寺は多数の人々の努力にも関わらず完成できませんでした。

堤防による開墾の成功により、石仏の地区では水田ができ、堤防と制御された川の流れにより北山、南山からの猪、鹿、ウサギの獣害の被害もなくなり、日増しに富んでいくのに反し、川上に位置する、川名の地区は一度大雨が降ると、当時の技術では完全には流れ下らない川水により氾濫し、水田も畑も浸水、さらには倍増した獣害によって荒らされて、収穫が無いに等しい酷いものとなってしまったのです。川下と川上の差は目に見えて開いていくこととなってしまいました。これらが重なって川名族と、若宮皇子たちとの溝は埋めることができない状態となりました。

ある年の夜半、石川の渡河地を渡ってきた野盗山賊の集団が若宮皇子の寝所を襲撃してきました。防御力のほとんどない、工人や博士たちは、狩猟なれした賊徒の集団に対し勝ち目はなく、火矢の攻撃に対して消火どころか、ただ逃げ惑うのみでした。数の上では賊徒よりも多かったものの、若宮皇子達は仏教宣撫者であり、戦闘力は無いに等しいのです。必死で防戦する従者達の命がけの努力により、皇子は村はずれの小屋までは逃げることができました。しかし、そこには行く手をさえぎるように賊徒達が待ち伏せしていたのです。