あまり、良いことではないのですが、
基礎コンクリートの打設時の余ったコンクリートを、捨てた物、あるいは、打設後の「機械　器具」の、清掃をした時のコンクリートの廃材等、ですね。
　決して、良いことではありません。が、たまに、あります。困ったことですが。

　庭を作るのは、確かに邪魔です。
　施工業者に、クレームをつけて、なんとかなれば、「御の字」と、いえます。
が、良心的な「業者」なら、最低でも、コンクリート塊の撤去くらいの面倒は見てくれると思います。交渉の仕方次第ですけど。

それでなければ、人手では、大変です、
重機などで、撤去するしか無いと思います。その後に、庭にする土を入れる。
ということになります。

　人手でやっても、コンクリートを小さく割りさえすれば、そう大変な作業ではないでしょう。
　堀りあげた「コンクリート塊」を、境界の石積みの代わりのでもされたらいかがでしょうか？