最初に確認させていただきます。

>エアコンは半日つけています。蓄暖は１階のみつけています。

　必要ない。ということでしょうか？十分に暖房される。ということであれば、ノープロブレムですが、「非暖房室」なり、「暖房室以外は非暖房」ということは、
ＮＧ　です。
　基本的に、「全館暖房」「全室同温度」「24時間暖房」です。ましてや、「蓄熱暖房」なら、それのための機器ではありませんか？

　以前、この相談室が、今のようになる前に、同じような相談がありました。
バイメタルを曲がるな！ということは、理にかなっているか？否か？
わかりますよね？暖房室と非暖房室の間に「建具」があれば、曲がるのは、
当たり前です。

>窓を開ける換気を行っていないからだと思いますが

　いえいえ、窓を開けてください。換気は、「外気を取り込む」「室内に空気を排出する」です。これを機械任せに、しっぱなし　はいけません。
　乳児が居る。では、その子は、隣の部屋に避難していてもらいましょう。
といっても、そう長い期間ではないでしょう？
　外気に当たる必要はありますし、日光浴のため、外にも連れ出す必要もあるでしょう？
　また、躯体、壁などがしっかり暖まっている状態で、しばらく窓を開放しても、
部屋は一時的に室温は下がりますが、すぐに、(文字通りすぐに）回復します。
かえって、換気のためには、そちらをおすすめする「理由」の一つです。

　もし、私の言っている状況ではなく、この現象が出ていれば、また、別の原因でしょうか？