おそらく床断熱と壁断熱の交差部、あるいは床・壁そのものから入ってきている単なる「いわゆるすきま風」でしょう。お写真拝見する限り、室内側の気密シートが確認できません。

いくら、高性能の分厚いダウンジャケットを着ても前のチャックを開けて裸で風の中に立っている状態。あるいは、素肌にフカフカのセーターを着ただけで、風の吹く冬に外に立っている状態。。。なのかな？と思います。空気を通さない処置が必要ですよね。

例えでお判りの通り、断熱材の厚さとか、窓の性能より、「気密性」を確保する事が大事なのですが、既に工事が終わっているのであれば、少々、処置が難しいかもですね。

前を開けたまま、お金をかけて、もう一枚、ダウンを着るよりは、一度、サーモカメラで隙間風の状態を確認した方がいいかもしれません。サーモをお持ちのインスペクターさんに依頼するか、何なら、数万円でスマホに接続できる簡易的なサーモカメラもありますのでご自分でも見える化できますよ。

まずは、そのあたりを確認してから対応された方がいいように思いました。