まず、「建築許可」では無い事、ご理解下さい。「許可」とは、申請されたことに対して行政がその責任で文字通り「許可」したという事で、主体は行政になります。

建築確認申請は、あくまでも申請されたことに対し、「その行為に違法性が無い事を行政として内容を確認しました」という事で「許可」では無く「確認済み」という言葉を使います。

どうして、このような事を申し上げるかといいますと、「許可」の場合は主体が行政ですので、その取り消しを求める相手は行政になりますが、確認申請は「民間」の行為に違法性が無い事を行政が確認しただけですから、その主体は「民間（多分）の建築主になります。

民間の（一般の）者が行う、違法性のない行為については、自由な法治国家である限り、いかんともしがたいのはご理解いただけるかと思います。

逆の立場で、あなた様が違法性のない家を新築しようとした時に、第三者に横やりが入るのは不本意と思いますし、その横やりに、何か拘束されるなにものもありませんよね。

建築に関する手続き上は、あくまでも「配慮」をお願いするのが、精一杯です。

ただ、介護施設との事ですから、そちらの関係の許認可事項もあるでしょうし、今後の地域コミュニティを考えると、先方も、大きな騒ぎになるのは本意ではないと思います。そのあたり、踏まえて、お願いしては如何でしょうか？