詳細な見解は、詳しく現地を確認させていただけないと・・・ですが、
写真の状況が悪さをしていることは、ほぼ間違いないと思われます。

断熱の基本の考えになりますが、
断熱材は、自らに取り込んでいる「空気」を動かさないで保持することにあります。当然、風が吹き抜ける(断熱材自体の中を）ような状況での使用は意味が無くなることになります。
お布団をかぶっていても、布団がすかすかの綿であれば、暖かくありません。
お布団のなか、綿の中に冷気が吹きすさぶ状況では、決して暖かくありません。
同じように、断熱材と、断熱される部分とは、密着していなければ、それも無駄になります。
お布団をかぶっても、体に密着せず隙間が有る状況であれば、布団は無いのと同じです。
今回の場合は、床板(合板）と断熱材の間の空間が有るおかげで、断熱材の存在が無になっているのだと考えられます。
周囲を確認して、風が入り込む状況であれば、間違いないと思います。
一枚目の写真で有れば、確実に役に立ってません。
二枚目の方は、3~4mmということであれば、風の吹き込み、吹き抜けを止まられれば、一応の性能は担保されると考えられます。要は、隙間にことさらに風が動く状況が無ければ。ということです。
コンクリート住宅、ということですので、根本的な気密性は高いと考えても良いと思います。現場発泡ウレタン、コーキング等を駆使して風の通り道を潰す必要があると思いますが、なんとかなる可能性は高いかと思います。

それと、断熱材はあくまでも「断熱材」、それ自体が発熱したりはしません。
「非暖房」状態で、断熱材で温度の下降が少なくなりますが、上昇はしません。
基本的には、「常時暖房」?24時間暖房が理想かと思われます。
昔はともかく、今は「住宅の中は、一つの空間」が基本的な考えです。
閉めきった部屋は作らない。非暖房室は作らない。が理想型です。
居間だけが暖房室であれば、他の部屋から非暖房の冷気が入り込んでしまうことになります。

現実にどこをどう直すか？どこが問題の中心か？
現場を詳細に確認する必要があることです。
お近くの「建築士会」「インスペクター」「BIS認定者（https://hobea.or.jp/bis/）」などへのご相談をおすすめいたします。
断熱気密にある程度のスキルが有る方を探す必要があるでしょう。