HMで契約し、既に建築の中間検査まで完了している状況ですが、設計料の一部返還は可能でしょうか？

同じHMから購入した土地に建築しているのですが、建築条件付きの土地ではなく、土地購入、設計契約、建築請負契約という流れになるものです。

すでに設計契約後の打ち合わせでも一度トラブルがあったのですが、数回の打ち合わせ後の建築請負契約に入る際にそれまでの見積もりに誤りがあったため建築費用が増額されました。自社での建設なので、設計の打ち合わせ中にオプション費用も含め見積りを出しながら予算に収まるように設計をしており、見積りの誤りはHMで責任を持つよう要求しましたが、見積りは参考として出すもので設計契約には含まれず、法的な責任は無いということでした。
この件については強く抗議し双方歩み寄る形で、増額分の約６割をHMが負担する形でまとまりました。

その後、建築契約をし建設が始まったのですが、最終的な設計図をいただける約束だったものが届かず、催促して図面が届いた頃には上棟まで終わっていました。
そして、図面を確認したのですが、最終打合せで依頼した内容が反映されていない箇所がいくつかありました。これは修正できるものでしたが、この他に、建物自体が道路側に５センチほど移動するように修正されていることがわかりました。なんの連絡もなく無断で修正されています。
境界から５０cmが確保されていなかったのが理由なので動かさないと建てられないのはわかりますが、事前に確認すべきもので事前に分かっていれば設計の修正で対応出来たものです。道路側へズラしたので、わずかとはいえ駐車スペースが狭くなりました。狭い駐車場なので私としては５センチでも貴重でした。
建築契約では、修正がある場合には双方確認の上書面を残すことにもなっているのですが連絡すら受けていません。
一度トラブルがあった際に一人で確認しきれないのであれば組織として別のものが確認するよう依頼し、建築契約時にも図面に誤りはないとHM側も確認をしたにも関わらずこのようなことになりました。
このようなズサンな設計監理に対し設計料を全額払おうとは思えません。
出来れば慰謝料も取りたいくらいです。
どのような対応をするのが良いでしょうか？