引渡し前に、溜まり水や設備の状況を確認しなかったのは業者の落ち度と言えますが、その後の対応に問題は無いと思います。
水道水は、塩素消毒によって給水栓における残留塩素量を一定以上保持するように定められています。
しかし、加熱や長時間の放置によって塩素濃度は薄まってしまうので、腐敗が始まります。
腐敗によって怖いのはレジオネラ菌の発生ですが、常時使用している状態で問題になるほど発生する事は無いと思います。
念のため使用の前に、若干の水道水を流してから使用してください。
保健所で水質検査も行なっているので大丈夫だとは思いますがレジオネラ感染症について東京都立衛生研究所のホームページに詳しく解説されていますので参考にしてください。
少しでも気に成る症状がある場合は、病院での診察と再度水質検査を行なってください。

東京都立衛生研究所のホームページ
http://www.tokyo-eiken.go.jp/topics/legionel/LQA1j.html

補足
臭いについては、配管や器具に染み付いた可能性は考えられます。
顔の近くで、温度を上げてシャワーで気化し易い状態でお湯を出すので若干でも感じると思いますし、一度気に成った臭いは鼻につくと思います。
しばらく使用して気に成る様であれば、配管の洗浄等を業者に相談されては如何でしょうか。