商用利用可能で高品質なオーサリンソフト

こんにちは。
業務用の業界標準ソフトでしたら『シナリスト』というオーサリングソフトがシェアが高いです。
https://jp.scenarist.com/
市販のBDやDVDタイトルのほとんどがこのオーサリングソフトで作られています。
ただ、プロ用というだけあって、MPEG-2やH.264/MPEG-4 のディスク用の動画変換はそれ専用の別のソフトを使います。SONIC CINEVISION　というソフトが有名です。シーンごとにビットレートを変更したりできます。画質が気になる部分だけ高ビットレートで再エンコードできます。
つまりオーサリングソフトとエンコードソフトが別々になります。それらを組み合わせてBDやDVDを作ります。
業務用ということもあり、これらのソフトはとても高価です。
なので、販売目的でより高画質、高品位なBDをお作りになりたいのでしたら、そういった業務機を使っているオーサリング会社、プレス会社さんに依頼＆問い合わせてみるのがいいかもしれません。大手の会社さんならライセンスに関する知見も持ち合わせていると思います。

”toast proを試したのですが、かなり映像がぼやけてしまい”
とのことですが、マスターの映像は4K（3840×2160）ですか？通常のBDの解像度は規格上1920×1080です。その場合は、どんな高価で高品位なエンコードソフトを使っても画質は落ちます。
これはソフトの性能ではなくBlu-rayの仕様規格による制限になります。

おそらくMPEG2・H.264のライセンスを管理しているVIA LICENSING ALLIANCE（以前はMPEG LAでした）など、使用している技術のライセンス管理をしている団体へ確認してください、という趣旨のメール返信ではないかなと思います。

https://www.via-la.com/ 

もし、お付き合いのある（今回の作品のプレスを発注予定の）プレス会社さんがありましたら、ちらりと聞いてみると教えてもらえるかもしれないです。

解決策ではありませんが、
Macの場合、Apple CompressorでもDVD作成に利用できますが、使用許諾には個人利用以外はTMPGEnc Authoring Worksと同じ内容が記載されています。

https://www.apple.com/legal/sla/docs/Compressor.pdf

31ページに日本語で表記されています。