エンコード起動後

左上の赤い閉じるボタンを押しても閉じることができない状況でしょうか。何かしらのダイアログが裏で表示されている可能性もあるかもしれません。左上の黄色ボタンを押していただくといかがでしょうか。

ウィンドウの操作が全くできず、画面下のDockにある「Me」アイコンを右クリックして終了をしてもダメな場合、Media Encoderが固まっている可能性もあり、macOS側の機能で強制終了させる必要があるかもしれません。

下記リンク先はAppleのサイトです。

Mac で App を強制的に終了する方法