私は専門外なので詳しいことはお答えできないのですが、2×4工法を専門にしている、ある工務店では外周りがふさがった時点で、作業を休止し、1〜２週間ほど扇風機を数台回しています。（昔どこでも、乾燥期間をとっているところが有りましたが）
除菌した後、送風を行ってもらい、木材の乾燥をしてもらってはいかがでしょうか。

まず、搬入時点で含水率20％以上って、、、どうなのよ？ってのがありますが、それは、横に置いておいて、、

私の存じ上げている知識の中で。。

カビは湿度70％以下であれば、増殖しにくいはずです。クラビアさんのおっしゃるとおり、室内の湿度に注意すべきでしょうが、それよりも、「壁体内」の湿度がどうなるかですね・・・。
これは、工法（気密工法、外壁通気の有無などなど）によっても異なってきますので、なんとも頂いた情報だけでは判断がつきません。
専門としては、、、アドバイザーの齋藤さんか福地さんでしょうか・・・。

アルコール系、塩素系の消毒薬も、間違いなくカビの滅菌には効き目があるようです。また、「オゾン殺菌」という方法は更に強力ですが、「酸化」作用がきつすぎて、鉄等について決していい影響を及ぼさない・・という事も聞いております。が、残念ながら、それぞれのデーター的な知見は持ち合わせておりません。すいません。
このあたりに関してはアドバイザーの前林さんが専門になるかと思います。

それぞれのアドバイザーに直接「プライベート相談」としてお願いしてみてはいかがですか？それの方が早いと思いますよ。（ユーザー画面から選択できるようです。私はユーザー画面を見た事が無いので、、、よく判りません）

私の立場からのアドバイスとしては、特に健康被害が絡むことですし、一度、期間を決めて現場をストップされてはいかがでしょうか？。仮に性質の悪い施工者だとすると、考えるのは、ズルズルと工事を進めて、「もう、出来ません」と、曖昧に終わらせることです。隠蔽された部分は、後々の処置がやりにくくなりますし、費用も増大します（どちらが負担するかは別にして）。
また、現在までの双方の打ち合わせ経緯、認識などを、今の時点で宜しいですから記録に残しておいて下さい。現場の記録写真も、できるだけ多く、どの写真がどの部位か、、、判るような状況で記録しておいて下さい。
施工者に対して、そんな行動を起こしていると、見せるだけでも、それなりのプレッシャーになりますし、無論、後日必要になるケースも視野に入れてのことです（使わずにはいたいですが・・）。

現場を止めるとなると、少なからず抵抗が予想されます。最初に言いそうなのは、、「工事が遅延すると違約金が発生します。それは施主の負担です。」・・・でしょうが、その場合、「何も処置せず、竣工後、健康被害が発生した場合、相応の負担をお願いしますよ・・」という事で、渋々、応じてくれると思います。現実に違約金が発生しても、日割り計算ですし、ちゃんと計算すると、ビックリするような金額にはなりません（利率など契約書の最後の方に書いてあると思います）。また、先方に非があることですから、本来であれば、違約金が発生するのもおかしな話です。ただ、このあたりも、契約されている約款によって微妙に話が異なってきます。

まずは、記録を残し、1回リセットする事。現場休止している間に、しかるべき専門家に相談される事をお勧めします。

公開回答欄に回答を致します。
質問者の不安はもっともな指摘であり、納得できる解決策を講ずる必要がありますが、その前にカビの正体を認識しておく必要があります。

栃木さんが仰せのように写真だけでの断定的な言い方は出来ませんが、三枚の写真では明らかに木材のストック時（保管中）に出来たカビだと思われます。
写真で見る限りカビと云うより、カビの胞子と云うべきでしょうか。

カビは木材が腐る腐蝕菌増殖の前触れです。そのカビの前触れがカビの胞子です。つまり、一定以上の湿度、温度と空気の停滞の三要素でカビの胞子が発生致します。その環境が持続すると、胞子からカビになり、腐蝕菌へと事態が悪化して参ります。
本件は木材の保管中に、この三要素でカビが出来たもののようです。

このカビの状態ままでも家屋内の湿度が低くなるとカビは自然に消滅します。
その点はハウスメーカーの説明に間違いはありません。
しかしながら現在のカビ（胞子）をそのままにして建材で包み込むのは、様々なリスクも一緒に囲ってしまう事にもなります。

施工後に出来たカビでないのであれば（保管中のカビ）、現況のカビを拭き取り、更に換気扇で強めの送風を直接木材にあてる事でカビは消滅出来るはずです。
ハウスメーカーには、カビが消滅させるまで根気よく対応するように要求すべきでしょう。これは健康被害を危惧するからです。

しかしながら仰せのとおり、空気の当たらない部分や拭き取りの出来ない部分が必ずある事でしょう。しかし、理論的には室内の気温と湿度が安定するでカビが不朽菌に発展する確率は極めて低い事も事実です。

とは言っても見た目ではカビが無くなっても、少なからず不安が生ずる事でしょう。そこで栃木先生がご指摘のようにあらゆる角度から現況写真を撮って保管しておくべきです。

その目的は、先ずカビが要因で柱などの構造体が腐食した場合、瑕疵担保責任と云う法律でハウスメーカーに対し、法的責任（腐った木材を使用した責任）を負わせる事を可能とさせるためです。
この瑕疵担保責任もハウスメーカーに視野に入れるよう言及しておくべきです。

次に栃木先生がご指摘のように、健康被害に関しては、ハウスメーカーと本件のカビが要因で健康被害に発展した場合の「責任範囲」を明確にした覚書を交わしておくべきでしょう。

私達は、自社物件や仲間の工務店が建築する、多くの工事現場を担当しておりますが、写真のような木材を使用した家も皆無ではありません。
しかし、後処理をしっかりと対応すると竣工してから問題を発生させない事も充分に可能です。

必ずしも建て替えまでしなくとも質問者が安心し、納得できる対応策があるはずです。当該ハウスメーカーとは対立して争うのではなく、不安な要素を理解して戴きながら解決策を充分に協議する事が賢明と思われます。

構造体に関しては、腐りかけた木材を使用した事が要因で構造体に問題発生した場合、明らかに瑕疵担保責任の対象となり「覚書」以前の事だと思われます。

確かに健康被害に関しては、様々な要素が予想されます。
アレルギーと云っても、そのアレルギーの要因は、ペットのアレルギー、温熱アレルギー、食物アレルギー、VOC（空気汚染物質）アレルギーなどがあります。

本件でのハウスメーカーへの覚書内容としては、
「当該（写真などで範囲を示す）カビ及びカビの胞子を要因とした健康被害に対し一定の責任を有する事とする」
このくらいの内容ならハウスメーカーは、承諾するかも知れません。

「メーカーと波風を立てるつもりはない」との事ですので先ずは、ハウスメーカーと穏やかに交渉してみてはいかがでしょうか。
納得の行かない対応をされた場合には、弁護士さんなどの専門家に依頼すべきでしょう。

NPO住宅110番です。

この問題を巡って、活発なやりとりが行われていますが、当HPに参考意見として、マウンテン・パイン・ビートル問題ではないか、というお知らせをいただきましたので、ご紹介いたします。写真を見る限り、その可能性もあるのではないかと思われます。
カナダ林産業審議会（COFI）http://www.cofi.or.jp/index.html　にも問い合わせして、以下のパンフレットPDFをご紹介することも了解していただきました。ただし写真画面は明瞭に問題を特定しにくいので、ひとつの可能性ということで、ご理解いただきたいと思います。
パンフレット自体は、
http://www.cofi.or.jp/literature001.html
のなかの　1. SPFが支える日本の木造建築　
のPDF書類15ページ下段に記載されています。ご確認ください。内容の要約は以下の通りです。

■MPB（Mountain Pine Beetle）に対する対応と今後の供給動向

SPFの材面に青いスジのような淡いしみが見られることがあります。これは、SPFが植生する森林において、マウンテン・パイン・ビートル（以下、MPB）という昆虫がロッジポールパイン（SPFのうちの一樹種）の樹皮の下に潜り込み、羽化した後に変色菌が木部に残留してしまうために見られる変色で、カビとは全く異なるものです。
ロッジポールパインの木質部がMPBによって食害されたりすることは無く、辺材部に変色が生じるだけです。MPBによって変色した木材を第三者機関
で強度試験を実施した結果、構造耐力が損なわれることは無いことも明らかになっています。また、日本農林規格*においてもカナダ製材規格**においてもこの変色は許容されています。