2×4工法の場合,風で家が揺れるというのは,ちょっと,普通ではないように思われます。
耐力壁が法律通りに設置されているのか,あるいは,パネルを釘でとめる際に,釘を間引きしているのではないか等,色々と疑問が出てきます。
竹沢さんが述べておられるように,一度,専門家に見てもらう方がいいですね。
東京都ですと,耐震診断の補助制度もありますので,役場で相談してみてもいいですね。
耐震診断士であれば,耐力壁の不足は直ぐに見抜いてくれると思います。
仮に,耐力壁が不足しているようであれば,窓を幾つか無くすか,小さくするなどして,壁を増やす方法が考えられます。
あるいは,家の内側は石膏ボードで仕上げられていると思いますので,石膏ボードを,一旦はがして,代りに,耐力壁として使える,グラスボードなどを既定通りに張ってやると,かなり構造的には頑丈になると思います。
この点に付いても,詳しくは建築士や耐震診断士にご相談なさってみて下さい。
2×4の場合,家が揺れる状態が続くようであれば,パネルをとめている釘が抜けるようになって,危険な場合も出てくるかもしれません。