家の構造や隣家との関りは良く分かりませんが,一つ気付いたことがありました。
「リビングのサーキュレーターとエアコンの除湿はつけっぱなしでこの湿度です」
この一文が気になりました。
恐らくエアコンは普通のエアコンをお使いかと思います。
その場合,除湿運転は実質は弱風弱冷房が実体でして,厳密に言いますと本当の意味の除湿ではありません。
それが証拠にエアコンの吹き出し口に正確な湿度計を当てて,湿度を測って見てください。
恐らく相対湿度は100パーセントかそれに近い値を示すはずです。
それはエアコンの構造上仕方ないことです。
それでも部屋の温度が高い時,また外部から熱が入るときは,エアコンから吹き出された空気が部屋の熱で暖められて,結果的に相対湿度が下がりますので,除湿が行われていると言えるのですが,エアコンを常時付けていて部屋の温度が下がっているときや,夜間や外の温度が低くて外からの熱が入ってこないときは,相対湿度が下がることはありません。
この状態を維持していますと,特に温度が低めの床下収納庫などは湿度が100パーセントを超えて結露が始まり,その結果カビが発生します。
それで現状で取り得る解決策は以下の通りです。

1:
エアコンを再熱除湿運転ができるエアコンに変えて,再熱除湿運転を継続すること。
メーカー名をここで書くことははばかられますが,「カラッと除湿の〇〇君」というような名前て売られているかと思います。
このタイプのエアコンは温度を下げずに湿度だけを下げる運転ができます。
その原理は冷房と暖房を同時に運用するような形になっていて省エネ上は敬遠される傾向にありますが,除湿するには物理的にはこの方法しかありません。
このタイプのエアコンで大体,普通の除湿器の7台分程度の除湿能力があります。
梅雨時に室内で洗濯物を乾かすのに大変重宝します。
このタイプのエアコンで屋内の湿度を本当に下げれば,お悩みの問題は解決できる可能性が高いです。
この場合,外からの湿気を入れないために,窓はできるだけ閉めてお使い下さい。
一応,エアコンの設定温度は夏場は28度くらい。
設定湿度は常時除湿かあるいは40パーセントの設定にすると良いでしょう。

2:
上記と同様ですが,強力な除湿器を常時運用すること。
エアコンを買い替えるのが難しい時は次善の策としてこの方法が取れます。
ただ，除湿器は騒音が出ますし,夏は熱も出ます。
そしてタンクはすぐに満水になりますので,それを捨てるのが面倒です。
タンクにホースをつないで,風呂場やキッチンの流しに排水できるようにすれば楽だと思います。
この場合も窓は閉めて運用します。

あと,湿度計はかなりいい加減な物が多いので注意が必要です。
棒状の温度計が2個並んでいて,片方に水で濡らしたガーゼがかぶせてある,いわゆる乾湿計は比較的正確なのでそれをお勧めします。

ともかく,屋内の湿度を正確に把握して,できるだけ湿度を下げる工夫をしてみて頂けますか。
あと,カビの処理については,消毒用のアルコールをスプレーで吹きつけて,丁寧にふき取るのがベストかと思います。
大変だと思いますがどうぞ頑張って下さい。

私がお勧めしたいと思ったのは,正にそのエアコンでした。
しかし,最近の傾向としては珍しい選択をされたと思います。
それは除湿の面ではとても良い選択でした。
再熱除湿運転である程度電気代がかさむのは仕方がありません。
快適に暮らすための必要経費とお考え頂くしかないと思います。
暑い時はエアコンをつけて,寒い時は暖房をつけて,湿度が高い時は除湿運転をするというわけです。
当面は再熱除湿運転を励行して,キッチンや床下収納庫はアルコールの噴霧で清掃して様子を見て頂くのはいかがでしょうか。
その後,新たにカビが発生しなければ良しとします。
あと,床下収納庫のカビ対策については,以下の様に工夫するのも良いと思います。
1.フタの周囲に適当なパッキンを付けて気密性を向上させる。
2.フタの裏側にウレタン発泡スプレーを吹き付けて,フタを断熱仕様に改良する。
パッキンやウレタン発泡スプレーは大きなホームセンターにあります。
3.既にあると思いますが,床下収納庫に空気穴があるか確認して,もしも無ければ適当に穴を開けて通風を図る。
この様にすると,床下収納庫は屋内の環境と隔絶されて,床下の冷えた状態を維持できますので,保存食の収納などに使えると思います。
外の湿度が低い時は換気扇は効果的ですが,日本で湿度が低い期間は本当に少ないですね。
カビ対策としては,窓は閉めて再熱除湿運転するのが間違いありません。
今までカビの問題が無いお宅の場合は換気のみで問題ないわけですが,既にカビでお困りということでしたので,上記の提案をさせて頂きました。

隣家から排出される湿気が自宅に侵入することはあり得ると思いますが,それを隣家で解決してもらうというのは,たとえ費用がこちら持ちであるとしてもハードルが高いかもしれません。
煙突は一つのアイデアですが，排気効率に問題が出るでしょうし,メンテナンスも面倒になりそうです。
反対に,自宅に煙突を付けて,上空から乾燥しているであろう空気をダクトファンで取り込むという手法はあるかもしれません。
ただ，上空の空気の相対湿度が低い場合でも,気温が高いと絶対湿度は高くなるので,効果性については疑問が残ります。
これはやってみないと分かりませんが。
繰り返しになりますが,日本は外気の湿度は高い日が多いので,できるだけ閉鎖的な空間で(必要換気は別として)エアコンの再熱除湿運転で湿度管理をする方が確実です。
既にカビでお困りであるという状況の場合はそうするのが簡単で確実だと思います。
なお,冬季の厳寒時には外気の相対湿度が高い日でも,絶対湿度は低くなっていますので,屋内を十分に暖房して換気すると屋内の湿度は低くなります。
もっとも,暖房は湿気の出ない暖房器具を使う必要があります。
つまり,ファンヒーターやストーブではなく,エアコンやパネルヒーターや床暖房などを使うことです。