>直径のサイズを図って角型のプッシュ式（三段階に換気口を開放する仕組みのもの）を購入しましたが、奥の穴のサイズが入口より小さくなっているようで、途中でつっかえてしまってリビング側に2センチほど飛び出てしまいます。

内部をご確認ください。
もしや・・ですが。外部のフードのおしりが管の内部に見えませんか？
それから今回のレジスターの管内に入る分がぶつかれば、当然、それ以上は入りません。
今回のモノは、’プッシュ式’との事ですので、可能性を考えました。

>自分で穴のサイズを大きくすることは可能でしょうか？

それは、不可能に近いと考えます。
中からにしろ外からにしろ、フードもレジスターも、壁の中に「さや管」を挿入し、それに差し込む感じのおさまりになっっていると考えられます。
さや管を太くすると、管にしろレジスターにしろ、固定が出来ないでしょうね。

おすすめは、レジスターの方を内部に出っ張りの無い形状なモノに変えることでしょうか？

状況がわからなく、穴の写真などあればご自分でできそうなのか？どういう業者が得意なのか？の回答が出てくると思います。

>>リビングに入ってくる騒音を防ぎたく、

室内側のレジスターを交換するよりも、外側のベントキャップを吸音型のものに変えるのが効果的と思います。また、法的には問題ありますが、その給気口？が日常的に必要のないものであれば穴に断熱材を詰めてふさいでしまうのが、音の問題の解決方法としては確実だと思います。ご参考にしてください。