とりあえずですが、間取り図、写真など有りませんでしょうか？

　間取りにより、必要でも見落としやすい部分、施工に注意が特に必要な部分とか有ります。その問題の部屋の壁が、どのような部分で、どのような状況になる可能性があるか？推測のために必要と思います。

　何を疑っているか？というと、
　断熱気密の不備、穴、スキ間により、あるいは施工の誤りにより、
結露水が、カビに発展しているかも？
　どこかに防水の不備があり、壁内に浸水していて、それによるカビ？
いずれにしても、推測のために資料が必要と言うことです。
　
　業者は、特に建て売りだと、あまり、さわりたくないかもしれません。
「素人だから」と逃げることはせず、自分でも最低限は「勉強すべき」と考えます。
その勉強なり、調査なりのお手伝いはできますが、最初から丸投げでは、あまり良い結論を見付けることは難しいかも？

ケースとしてあまり聞きませんが、壁の中の部材が濡れたまま施工されて閉じられてしまい乾かずカビが生えたという可能性はゼロではないと思います。ただそこまで匂いが外に漏れてくるか？と考えるとあまり想像はできません。
似たケースとして経験があるのは、現場で使う木材などは今は多くは乾燥材ですが、完璧に0%ではありません。そんな材料で組み立てた際に「空気が動かない空間」を作ると、その中にはカビが生える可能性があります。また、「動くけどハケ切らない」場合も同様です。前者はバルコニーなどの壁内。後者は換気の足りない小屋裏などです。

今回の可能性としては施工業者が壁内にびしょびしょに濡れた材料を使った可能性。また生活の仕方として、室内でよく洗濯物を干す、石油ストーブをよく使う、大勢で一部屋で寝るなど、湿気の発生量が極端に多いケース。それから、においの感じ方も人それぞれです。壁の中からの匂いだと思っていたら、タンスからだった。衣服からの匂いだった。外から換気扇を通して匂いが入ってきていたなど、色々考えられます。

50cmほど穴を開けた際は特に匂いが強くなりましたか？その中の状況はびしょびしょでしたか？もし生活できないほどのカビが発生していた場合、壁内は真っ黒でヌメヌメしているくらいだと想像します。壁内は通常、風は通りにくく作るのですが多少は動いてしまうので、そこに埃やチリが入り込んで、改装などで解体すると黒くほこりっぽいのが多いです。これらに注意してもう一度観察して見てください。