地面を掘って地下水が湧き、その水面位と、地盤面からの寸法を「地下水面位」と云います。
水浸透の良い、つまりは地下水面位の低い敷地では、本件のように床下に雨水が回り込むような事態にはなりません。

本来だと、地下水面位に関係なく、どんな敷地でもグランドライン（外部地盤面）より床下地盤面は、最低でも数センチ以上高くする事が必要です。
本件は、相互が同じ、高さであり、更に地下水面位が高かったのでしょう。

対応策としては最も有効なのが、床下に乾燥砂などを敷き込んでレベルを上げる事です。しかし、いまとなればかなり大掛かりな工事となってしまします。

現実的な対策としては、仰せのような「基礎周辺を掘る」つまり側溝を設ける事で、地下水面位を下げる効果があります。
合わせて床下にポリフィルム防水シートを敷き詰めるのも効果的です。

床材や建具のカビですが、本件の対策を講じて床下が乾燥する発生しなくなります。
現在のカビ処理は、丁寧に拭き取り処理を行う事でしょう。
その費用については関係者と協議してください。