いろいろと、言葉だけが上滑りしているようですから、まずは、ご説明から。。

確認申請上、2階建てなので、構造計算というより、簡易計算（4分割法といいます）で、対応しているようですね。これは、何ら問題ありません。
設計図で3.5寸で、実際には4寸で対応しようとしていた。。。という目論見も、設計より太いものを使うのですから何ら問題ありませんし、実際に3.5寸であるのなら、法的にも、現実の構造的にも問題は無いと思います。また、柱の太さに関しては、さして「耐震性」には影響しません。ですから、3.5寸だから弱い、4寸だから強いという事は無いですね（少なくともあなた様のお宅の規模では）。

ですから、後は、契約上、信義上の問題だけかと思います。

柱を、順次入れ替えていく、、、というのも、相当に手間がかかるでしょうが、論理的には可能ですし、入れ替えたから（ちゃんと作業を行うという前提で）といって、これもまた、特にどうなる、、という事もなかろうと思います。
（作業手順他、細かなところで気になる事はありますが・・）

サイディングのお話も含めて、あなた様には、相当に不信感の残るお話とは思います。ただ、お話を伺う限り、説明も下手で、要領も悪い工務店さんのようですが、誠意はあるように感じました。ミスを社長が気づき、少なくとも、それに対し一生懸命対応しようとしているのは、何かと誤魔化そうとする工務店さんが多い中で、結構、大変な決断だったと思います（当たり前といえば当たり前なのですが、その当たり前が出来ない工務店さんも多いです）。

実質、性能上はさして影響があるとも思えませんし、お父様のお知り合いでもあり、その誠意に免じて、大仰な事とはせず、例えば、ペナルティとして、何か家具のような物とか、カーテントとか、サービスして頂く程度で、矛を収めては如何でしょうか？

トータルで考えた場合、その方が得策のような気が、私はします。