専門外ですが。
土地購入後4ヶ月ということですので、売主が不動産業者であった場合、瑕疵担保責任があります。契約書を見てみましょう。その場合、「塀の強度が劣っていて危険」という瑕疵と、「越境している」という瑕疵の２パターンがあります。売主が「それは知らなかった」としても、そうすると隠れた瑕疵として瑕疵担保責任は免れないと思います。その期間は民法にもありますが、契約書にうたっている場合もあります。あまりに短い(例えば１?２カ月等)と、無効となって民法（確か１年か２年か…。）が採用されるので、今４か月のときは瑕疵担保期間だと思われます。売主が個人の場合、瑕疵担保責任を免除できる（書面によって）ので、契約書にその旨書かれていたらあきらめるしかないかもしれません。

先方が相手にしてくれないのならいろいろと出方を考えないといけませんが、上記のような場合でも実害が少ない場合は当たり前のように全額負担とはならないケースもありますので、より詳しい専門家、弁護士等に相談する必要もあるかもしれません。