建築業者は、受注するまでの親切な対応が、代金回収をしてしまえば業者側のペースになりがちです。残念ながら、そのような業者を選択した責任も踏まえなければなりません。
築5年と言う事ですが、期間を経るごとに不具合に対する苛立ちが憤りとなるのは、とてもよく理解出来ます。

カビの生えた木材、クギの散乱などは、施工管理に課題があったように推察されますが築5年後の対応策は困難でしょう。
サイディングのズレ落ちで雨漏りが発生すると瑕疵担保責任を追求でき、施工者に無償対応は可能となります。

Low-Eガラスの件は、契約仕様書を確認すべきです。
言った、言わないは埒があきません。
口約束も契約のうちですが、言っていないと言われればそれまでです。
約束が仕様書や言質などで確認出来るとLow-Eガラスは、後からでも嵌め替えが出来ます。

業者に謝罪を求めるよりは、住まいの不安を解消の対応をさせる事が肝心と思われます。
そのため業者側とは、感情的にならず、出来るだけ穏やかでフレンドリーな応対を行う事が賢明です。
施工業者をその気にさせる賢いお施主様になるのが対応策の一番のようです。