某ハウスメーカーで新築二世帯住宅の建築契約をし現在間取りまで確定している者です。

契約前は担当営業マンも誠実に対応してくれ信頼の上契約しましたが、契約した途端
◯契約の大事な書類の説明やサインをしている時に他の子供連れの客が騒いでいたにも関わらず注意も配慮もせずそのまま契約を進められた
◯ショールームの予約忘れ
◯打ち合わせの約束忘れ
◯土地契約や土地決済時、仕事や家庭の都合がつかないとの理由で同伴なし
◯土地決済に必要な書類の伝言ミス
◯間取りの提案力がなく全てこちら主導
などが相次ぎ、あまりのひどさにその店の店長にクレームを申し立てたところ、
◯担当に全て任せており担当者からもそういったミスがあったことは一切聞いておらず把握していない
◯約束忘れがあった件については当日担当者には重要な商談が入っていたこともありいっぱいいっぱいで連絡できなかったからだと思うし、本人は約束時間を誤ってメモに記載していたとのことで誤認していたのだと思う
旨悪びれる様子もなく言い訳しかせず、契約時に書かされたアンケート用紙にもクレームを書いていたことを伝えそれも把握していないのか問い質すもアンケート用紙は全て本店に送られるため支店で見ることができないと言われました。

店長自体高圧的な態度で対応があまりにもおそまつであったため、本店に電話しアンケートの行方について確認したところ、
◯アンケート用紙は原本は支店保管で本店にはメールにて添付されたものが届くようになっている
との回答で完全に騙されたことが分かりました。
担当営業マンだけでなくその支店の長からも嘘をつかれ完全に信用を失墜されました。

現在土地決済まで完了し間取りも決定のサインをし建築士が設計に入っている段階ですがこのメーカーと今後うまくやっていけそうにありません。
こういった場合、信用失墜行為として契約の解除ができるのでしょうか？
もしできた場合、損害金などこちらが払わないといけないのでしょうか？
詳しく教えていただきたく宜しくお願いします。