>小石などを退ける際など軽く掘ったら釘やネジ、何かわからないビニールのようなごみや針金、たばこの吸殻など色んなゴミが出てきました。

認識として、「ゴミ」と確定されるか、「ゴミ」らしきものか。により、違ってきます。
「ゴミ」であれば、間違いなくＮＧです。
ただ、業者にすれば、「ゴミ」ではなく、「埋め戻し土」だ。と言われ、認めない可能性もあります。

>自分でどうにかするかしかないのでしょうか？
>もしくは売主に言えば土の入れ替えなどの対応はしてもらえるものなのでしょうか？

売主、施工業者が、「ゴミ」と認めれば、話はスムーズに進むと思います。
程度の差はあれ、土の入替の交渉に乗ってくれるでしょう。
もし認めなければ、ご自分でやる考えの方が「実際的」だと思います。
争いの場に立って決着したところで、出る金額、労力などに比しての実入りは少ないと考えます。

ある程度の深さの土の入替、及び少し盛り土くらいに考えれば、
掘削土、埋め戻し土の土量もそうも多くないと思います。