鉄筋コンクリート造の建物は，本来はとても気密性の高い建物になります。
それで，24時間換気システムは必須アイテムとなります。
しかし，これが法律で義務づけられるようになったのは，高々この10年程前からでした。
それで，もしかするとお宅の場合には24時間換気システムは付けられていないかもしれません。
もっとも，これがある為に，トイレの換気扇から空気が逆流しているのかもしれませんが。
それはともかくとしまして，一番簡単で確実な解決策はトイレのファンを24時間回し続けることです。
この様にしても，電気代は微々たるものです。
具体的には，パイプファンの消費電力は3Ｗ程度として，１カ月の電気代はおよそ50円程度に過ぎません。
もしも，音がうるさいようでしたら，静かなものに交換しても数千円で入手できるでしょう。
現実にそのようにパイプファンを回し続けて，どの程度の耐久性があるかという問題がありますが，私の実験ではメーカーによっては，10年以上，全く問題なく動き続けている物もあります。
メーカーで言うと，東芝，三菱は頑丈です。（問題がありましたらこの一文は削除をお願いします。）
費用対効果を考えると，また換気の面でもこれが一番お勧めではないかと考えます。
なお，24時間換気システムが無い場合，トイレのファンを常時回しておくのは，一つの代替手段として有効な手段となります。
この場合には第三種換気システムとなります。
実は拙宅もそのようにしているのですが，トイレの空気はいつもきれいで気持ちがいいですよ。

なぜ，トイレの換気扇を24時間点けるのを躊躇しておられるのか理由が分かりました。
その様な配線もあるんですね。
私は初めて知りました。
さて，対策ですが，方法は幾らでもありますが，一番お勧めしたいのは，人感センサー付きのＬＥＤライトに交換されることです。
今お使いなのは白熱電球でしょうか。
そうであれば，器具はそのままにして，電球型の先に小さな人感センサーが取り付けられたＬＥＤランプが各社から市販されていますので，それに差し替えるだけで良いです。
数千円で購入できると思います。
知名度の低いメーカーの物もありますが，なるべく一流メーカーの方が，明るさの点でも安心できますね。
拙宅は照明はほとんどＬＥＤに交換してあります。
当時は，人感センサー付きのランプはありませんでしたので，人感センサーは別に取り付けてＬＥＤランプを運用しています。
これですと，人がいる間だけ点灯して，いなくなると自然に消えていますので，消し忘れを防げますし省エネにもなります。
また，ＬＥＤランプは本当に切れませんね。
これに変えてから，交換の手間が無くなりました。
発熱電球も，電球型蛍光灯も実に良く切れます。
それで，トイレは人感センサー付きLEDランプにされて，常にスイッチを入れておけば，ファンは常時回り，照明は人が入った時だけ点灯しますので，省エネの面でもそれが一番お勧めです。

ろばわ６８さん
※今のところ私の一番の理想は、この写真にある換気扇を部屋の中からどうにか完全に密閉して塞ぐこと、です。
ですが換気扇を回したい時にはなるだけ簡単に開くことも出来るようなシステムであってほしいのです。

コンクリート打放しの壁ですねー
換気等の逆止弁と言うものが、あります。
高価なものは電気的にONになれば、開くタイプや、今回提案いたしますのは、換気扇の風圧で開くタイプがあります。
某M専門の施工会社では、天井裏を排気ルートとして活用しています。当初、風圧で開くタイプ（今回提案）をつけていましたが、台風等暴風時、弁ががたがた音がして、今は電気的に開閉する電磁弁方式に変えたそうです。（油を含むレンジフード関係にはつかえません）
写真でUPしました、風圧による弁を、部屋の中から換気扇を外し、スリーブのパイプ部分に取り付けるだけです。
差し込んで三箇所のねじを締めるだけで取り付けられます。又、不要になれば、ねじを緩めて取り外すだけです。
換気扇の風圧で開きます。換気扇を止めれば閉まります。
通販等でなければ、メーカーから購入されて、自分でとりつけたら如何でしょうか？？
何らかの反応をいただければ、・・・・私どもの叱咤激励、励み、喜びとなります。
宜しくお願いします。

逆風防止ダンパーの提案が出ていますが，これは本来は，シロッコファン等の有圧換気扇に対応したものでは無いかと思います。
それで，トイレのパイプファンにこれを付けると，換気扇としては機能しなくなる恐れがあります。
具体的には，逆風防止ダンパーの圧力損失特性を見ますと，大体，1時間あたり20立米の風量に対しての圧力損失が40パスカルとなります。
一方，トイレの一般的なパイプファンは，20立米の運用時でファンが発生し得る圧力は15パスカル程度です。
それで，この組み合わせでは換気扇としては機能しなくなります。
もちろん，ファンをシロッコファンに交換すれば，いいわけですが，消費電力は大幅に増えます。
また，逆風防止ダンパーは強風に対する楯の役割は果たしますが，ダンパー自体に気密性はありませんので，匂い対策としては十分に機能しないものと思われます。
それで，実際にやってみないと，断言はできませんが，この方法はうまく行かないと思いますし，現実にパイプファンに逆風防止ダンパーを付加した事例は見たことがありません。
どうしても，穴をふさぎたいということであれば，最初に斉藤さんがご提案された換気扇に取り替えるのが正解だと思います。