こんばんは。
建築の知識が多少あるものです。
他の御回答とはやや違う意見なので投稿させていただきます。
若輩者なので参考程度と捉えてください。

まず、大前提として質問者様（お施主さん）に
全く非はないということです。
8：2や９：１で…などではなく10：０で、です。

高いお金をだして一生の買い物をしたのに、
「しょうがない」とは思えない。それで終わらせたくないと思うのは当然であり健全な思考です。

少なくとも「賠償」やら「保証」の前に「（部材を）交換してください」という権利はあると思います。だって値引き、サービスを引き出したくて言ってるのではなく、「当たり前の状態」にしてくれって言ってる訳ですから。

順序としてその後、交換は難しいやら何やらで勘弁してくれと言う事であれば「じゃあ、どういうカタチで納得させてくれるのか」という流れではないでしょうか？
交換は状況や部材の箇所によるところもありますが実際それなりに大変な作業です。本当にさかのぼってやり直せれば別ですが、多少なりとも継ぎ接ぎ的にせざるおえないと思われるので、交換を強く勧めるという訳ではありませんが、工務店が交換を嫌がる理由の多くは「大変だから」でしょう。

ともあれ、「質問者様が折れるのが当然」ということは全くないです。

工務店の言う通り漆喰の水気が原因だとしてもそれは工務店の過失です。
湿気が懸念される工事であればそれ相応の換気など対応するべきです。
漆喰壁の施行はカビが伴って当然とでも言うつもりなのでしょうか？
ましてやこの時期そうなら夏場はどうなるの？って話です。

この先、普通に生活されてゆく中でカビを引き起こす原因は様々あると思います。他の箇所や例えば植木鉢にカビが生えたりしても工務店のせいにばかりは出来ないでしょうが、同じ箇所にばかり再発するようであれば、カビの根が残っていたと断言してもいいように思います。

なので、「（工務店が何かの処置法を提案して）これでいいですか？」と聞かれても「逆にこれで問題ない（今回の場合、施行中に発生させてしまったカビが原因での再発はない）」と言うことなら（当然、なぜそう言い切れるのかも含め）いいですよ」という受け答えが自然なのかなと。
意地悪な受け答えのようですがこれが「自然」だと思います。

こういう場合、現実は少なからずシコリが残ったりもしますのであれこれ書いてしまい逆に不安になってしまったらすみません。

工務店さんも悪気があった訳ではないでしょうが、でも、それでも、気持ちに「負い目」みたいなものを感じるのは絶対に工務店側でないといけないはずです。これは間違いなく正論です。

他の回答者様のご意見は少し冷たく、違和感を感じますね。
工務店側の気持ちが入ってるのでしょうね。