動画ファイルの相性ってあるのでしょうか？

相性が悪い素材、というのは存在すると思います。

コーデックの圧縮パラメーターの違い（例えば単にH.264と言っても、GOP長をはじめ無限と言ってよいくらいパラメーターの組み合わせが存在します）や、お使いのパソコンのハードウェアデコーダーで対応していないタイプのH.264・H265でありCPUデコードになっているなどなど、技術的な理由は複数考えられます。

メモリの容量はスペックの一つにすぎませんので、メモリが32Gbあれば大丈夫とは言い切りにくい面もございます。

たとえば、普段お使いの素材がハードウェアデコード可能な素材だった場合、今問題となっている素材がハードウェアデコード未対応でCPUでデコードされて重くなっているという可能性がありますが、一方でCPUの性能が十分高ければソフトウェアデコードでもさほどパフォーマンスが落ちないこともございます。

そのため、まずは「どこがボトルネックになっているか」を探る必要があると思います。コマ落ちしている状況では正確な負荷を見るのが難しいのですが、タスクマネージャーの様子も参考になると思います。

また、問題となっている素材の詳細を知ることでも、原因究明につながると思います。例えば「MediaInfo」など、動画ファイルの詳細を調べられるフリーソフトも役立つと思います。

仮に素材自体が原因でしたら、ファイル変換もしくは「プロキシ編集」するしかないということになると思いますが、もし、SSDのような高速のストレージをお使いで空きに余裕がありましたら、全素材をProRes 422 (必要に応じてHQ、画質にこだわらなければLT)に変換してしまうと、高画質で映像を確認しながら快適に編集できる可能性が高いのではないかなと思います。