浴室の換気扇を基本とする第三種換気システムを採用されているということでしょうかね。
そうであれば，躯体の気密性はかなり良好であるということだと思います。
構造的に考えて，なぜ，スイッチボックスから風が出るのかが不思議な気がしますが，恐らく，在来木軸構法の改良型の気密住宅かと推察されます。
対策ですが，まず，家の平面図を用意して，空気の流れを描いてみてもらえませんか。
空気がどこから入って，どこから出て行くのかを把握します。
給気口はどこにありますか。
そこから，抵抗なく，風呂場まで排気されているでしょうか。
もしかして，給気口のある部屋のドアを閉めていませんか。
あるいはドアを閉めても，空気が流れるように，通気ガラリが設置されているでしょうか。
また，空気が流れる，途中のドアを閉め切っているということはありませんか。
空気がきれいに流れるようになっておれば，わざわざスイッチボックスから空気を吸い出すことは無いはずです。
あと，お宅のような構造のタイプの気密住宅は，スイッチボックス，コンセントは全て防気カバーを付けるのが基本になりますので，まずはこれを行うのが先決かもしれません。