騒音がトラブルとなる場合は、騒音源からの発生騒音が、騒音源が停止している状態の音より大きい場合に発生します。

騒音源が停止している状態の音を「暗騒音」と言います。一見（一聴？）無音のように感じますが、無音状態（０デシベル）はありえません。

暗騒音は、状況に応じて騒音レベルが違います。都会の市街地では騒音レベルが高く、住宅地では低くなります。同じ場所では昼は高く、夜は低くなります。

気になる騒音のレベルは一定ですから、市街地では気にならない音も住宅地では気になる事があります。特に夜間の騒音がトラブルの元です。

マンションでは昔と比べサッシの気密度が上がって、室内の暗騒音が小さくなったため、今まで聞こえなかった音が聞こえるようになってトラブル事例が増えております。
知り合いの建築設計者は、サッシのクレセント（留め金）を緩めて、外の暗騒音を入りやすくして解決しました。
二重サッシのグレードを上げたため上階のオシッコの音が聞こえるようになったという相談事例は、小生のブログにあります。

清水さんがお住いの所は、非常に静かな所ではないでしょうか？
「・・・強いと言ってもスマホの騒音やヘルツを測るものでは拾えないていどです」という事ですから、騒音レベルとしては20?30デシベル程度ではないかと思います。
このレベルは音楽ホール並みです。ちょっとした音でも聞こえます。

連続音ではないとの事ですから、原因は風ではないかと思います。
一度耳についた騒音は気になりやすいので、対策は難しいですが、サッシを少し開けて外部の暗騒音を取り入れてみたらいかがでしょうか？
小さな音でBGMを流してみて騒音が気になるかどうかも試してみて下さい。

10デシベルは、小生全く経験ありません。
スマホで本当にそのレベルまで測れるのか疑問ですが、とにかく静かな所という事は分かりました。
という事は、騒音であっても大変低い音と言えます。

小生の経験では、静かな所のマンションで天井から音がするという事で相談された事例で、約25dbAでした。周波数分析機の測定圏外で、機械の運転音らしき音が数デシベル上がっていました。マンションの管理組合の方々は聴きとれず、相談者は耳の錯覚でないことを証明したくて相談がありました。

清水さんが気になる音は、他の地域・場所では実際に発生していても暗騒音に紛れて聞こえないでしょう。
隙間を心配されておられるようですが、隙間が全くないという建物はないので、わずかな隙間を通り抜ける空気（風）が建材などを振動させて音を出すのかと思います。

厨房のレンジフードや浴室換気扇の運転時に気流を感じますか？
窓を開けない限り、換気扇類を運転してない時には気流は感じないと思います。という事は隙間風があっても、ごく小風量であると言えます。

jpkenさんが仰る様に、無視することは出来ませんか？