H264、８K解像度VR書出しのハードウェアエンコーディングについて

8K VR H.264とのことですので、ハードウェアエンコーダーが対応していないのではないかと思います。

（ハードウェアエンコーディングを選択しようとすると、「ご使用のハードウェアの現在の設定では、ハードウェアアクセラレーションはサポートされていません。」と、表示されます。）

原因の切り分けのため、プリセットを「YouTube 1080p フルHD」にした場合、ハードウェアエンコーディングが選択可能かどうか、お試しいただくといかがでしょうか。