匂いによって異なりますが、
可能性として考えられるのは、
フィルターの汚れなどは無いでしょうか？
可能であれば、本体の部分のにおいの確認してみたらどうでしょうか？
恐らく匂いはあると思います。
そこの清掃が可能であればお願いします。
それでも治らない場合はその先にあると思うので、ダクトの部分と思います。
ダクトの先がどこに繋がっているのか…
先の部分がにおいの原因であれば、そこの匂を吸って室内に入れているかもですね。
そうなると他の住居者も同じ気持ちになっていると思います。
住居者に同じ気持ちになっている人が多い場合は
修繕費の積み立てをしていると思うので、その費用で可能なのか相談してみるのも良いと思います。
匂いの特定を出来る限りした方が良いと思いますね。

換気をすることによってトイレが負圧になり、どこかから臭気を集めてしまっていると思われます。まず、トイレの中に水が十分たまっていますか？水がたまっていないと、そこから下水の匂いが上がってきます。ただこの場合、換気扇をつけなくてもけっこう臭うと思います。
トイレを交換した際に何らかの要因で、排水の接続がうまくいっていない可能性もあります。（トイレ交換以降で匂いがするようになったならば。）排水のフリンジなどが割れたままそのままつけたなどがあればそこに隙間ができますから、換気扇をつけて負圧になった時のみ、その隙間から下水の周期を吸い込んでしまう。といったケースもあるかもしれません。