仰せのようにコンクリート破片の混じった土砂は完全に産業廃棄物扱いになり、処理費用に相当の費用が掛かります。
排出運搬費用も掛かりますが廃棄物処理費用も膨大です。

本件は、建築施工業者さんとの約束事（契約約定も含む）でどのようになっていたかが要点と思われます。
土砂処理は相応の費用が掛かる事からサービス仕事には出来ず、見積書に記載されるべき項目です。

敷地内を綺麗に整地して引き渡すのが本来の在るべき姿です。
しかし、費用面も含め建築施工業者さんとどのような約束をしたかによると思われます。

外構工事を別の業者に依頼するとのことですが、その事項の遣り取りに、業者と質問者の双方に、意識相違があったように推察されます。
ともあれ、どちらが土砂処理を行っても相応の費用が掛かります。
見積事項の有無をしっかりと確認してから対応すべきでしょう。