「改善する可能性はないが、」給湯器の交換をした。というのがよく意味がわかりませんが、音を確認してもらっておるのならはっきりとした原因を究明してもらって（あなた様もそれに協力をし）賃貸契約の続行を目指すべきだと思います。

音の問題で「法的」に契約解除ができたり、事前の重要説明義務も無条件にはないと思いますので、あとは契約書やその約款に記載してある解除理由の範囲内なのかどうかということを確認するしかないと思います。

「家賃以外の初期費用を管理会社に返金といいますか負担していただく」ということを提案してみるのは有りだと思いますが、おそらく応じてくれるとは思えません。それはダメ元の最終交渉手段として、問題解決の方向でお話を進めるのが良いと思います。