>よく振動や揺れを感じるので構造的に問題ないのか、正しく建てられているのか、とても心配しています。

まず、鉄骨造、木造、どれに限ったことでは無く、「揺れ」は、有ります。
逆に「揺れない」・・・ということ、
つまり、いっさい動かない。というだけがっちり固まった住宅の場合は、おそらくですが、数回の地震で倒壊するかもしれません。
「柳に雪折れなし」とか言いますよね？
ある程度、しなやかに揺れる方が、地震動を受け流すんです。
実際、その意味で揺れが気になる場合もままあることです。

>構造的に起こり得ることなのか、それとも欠陥が潜んでいるのか、

この事については、人それぞれ、感じ方、考え方が違いますので、文章で読み、感じたことを聞いた印象で、ジャッジは不可能と考えます。
その意味で、欠陥が潜んでいる可能性を「ゼロ」とは、考えません。
し、ほぼ、あるいは確実に・・・とは、決して言いません。
それでも「気になる」ようでしたら、お近くの「ホームインスペクタ?」「建築士事務所」「建築士会」等にご相談をおすすめします。
このような相談に関して、「セカンドオピニオン」とまで言いませんが、そこに係わった業者、設計者以外の第三者で、責任有るご意見をくれる方を選定しましょう。
無責任な(野次馬的な）第三者では決して無く。・・・表現がむずかしいですけど・・・ご理解ください。
建築時の「確認申請副本」等、間取り等だけでは無く、構造のわかる図面をご用意されると良いでしょう。
手元に無い場合は、何か問題でも無い限りは、施工業者、設計者などから普通に受け取ることが可能でしょう。
かえって、理由を付けてわたさないのであれば、欠陥を隠す意図を勘ぐりたくなりますね。・・・・無いと思いますけど。

人の移動で重量鉄骨の家が揺れるのは普通では無いと思います。
地盤の影響で大型車が近くを通るために家が揺れるのであればそれは普通にあり得る話だとは思います。
耐震診断のできる建築士に調査してもらう方が良いと思います。
家が揺れるので地震に弱いとは断言できませんが,普通では無い様に感じました。
ちなみに拙宅は一階の開口部が大きい，美観重視の建築家による木造住宅ですが，当初は人が階段を上り下りするだけで揺れる家でした。
耐震診断を依頼したところ大地震では倒壊が確実という診断が下りました。
それで，構造用合板で耐震補強を徹底して行いました。
その結果，揺れることは全くなくなりました。
重量鉄骨と木造では根本的な考え方が異なりますが，こんなこともあったということで参考になればと思います。

振動に関しては難しいですよね。
一般的に第一のケースとして、幹線道路などのそばや少し離れていてもトラックなどの多い国道の近く、または道路舗装途中で道路に段差のある場合でトラックなどが良く通るなどの環境下では道路の揺れが地盤の揺れとして近辺に伝わっていくので、建物が揺れるというよりは地盤が揺れます。こういった揺れは対処が難しいですが、今回はそれではなさそうです。

第二のケースとして壁の耐力壁が不足しているケースです。壁は一般的に四角なので変形してしまいます。そこに木造だったら筋違、鉄骨だとブレースによって三角を作って変形しないような構造にします。
例えばですが、我々が建物を作る際に、木造の場合に上棟する日は仮の筋交をつけて構造完成まで凌ぎます。この場合建物の形状によっては、３階で恋に横揺れさせようとすると人の重さだけでも揺れます。ただ、構造とは関係がないとしても外壁や内壁などが完成している状態でまだ揺れるというのはちょっと考えにくいです。これが原因だとするとかなりの壁量不足が予想されます。建築確認申請通りに施工されてればあまり考えられないかと思います。ここは一つ確認するポイントになると思います。鉄骨造なので構造計算書通りの施工がされているかの根拠を確認したいです。施工中の写真や瑕疵担保責任保険などの検査内容です。なければホームインスペクターなどの事後検査になりますが、構造は見えなくなっていると思いますので、全部調査するのは至難です。

第三のケースとして、振動の程度です。地球に対して少しでも動けば振動や揺れとなりますが、完全に動かない物質はありません。ゴムで建物を作ればビヨンビヨンに動きますが、硬い物質で建物を作ったとしても少し動きます。鉄筋コンクリートはとても固いので動きにくいですが、木造だと気が柔らかいのに加えて接合部に剛性がないので揺れやすい。鉄骨だと鉄自体は硬いんですがコスト上どうしても薄い鋼材を使用するので、たわみが出やすく材料自体は揺れやすい傾向があると思います。ただ建物の大きさによります。住宅のような規模では余程１階に壁がなく広いスペースをとっているなどでない限りあまり撓むことはないと思うのですが、多少は揺れるので、人それぞれの感じ方によって多少の揺れでも感じてしまう方もいるかもしれない。

最後のケースとして、床の剛性によるものです。鉄骨造の場合、床はALCを下に敷いてあると思うんですよね。その辺の厚みや固定の仕方により、床がたわめば揺れてしまいますので、この辺の施工方法と合わせて、その程度が一般的なのか気にし過ぎなのかのジャッジが必要と思います。

教えていただいた状況を読む限りでは最後のケースに近いのかなと思いますが、例えばガラスの引き戸が付いたような昔ながらの食器棚などがあった場合、その前で地団駄を踏めば大抵揺れてガラスがカタカタと動いてしまいます。ただ、文章を読んだ限りでは何か通常と違うのかなと感じます。