オンラインで再生するとプツプツ音が入る

>Premire Pro上ではきれいに再生でき、書き出したmp4もきれいに再生できるのですが

という状況ですと、基本的には「Premiere Proには問題が無い可能性が高い」状況になるかと思います。

OneDrive側以降の問題である可能性が高いと思うのですが、下記リンク先（マイクロソフトのサイトです）をご参照いただきつつ、書き出しの設定（特にビットレートなど）を変更していただくといかがでしょうか。

Microsoft 365 で再生できるビデオ形式 

また、最終的なオンラインでの視聴環境のプラットホームがOneDriveではない場合には、本番環境（もしくは本番環境と同じシステムのテスト環境）でもお試しいただいた方が良いと思います。