3DスイッチをONにするとモード選択できない

3DレンダラーがCINEMA4Dかレイトレースになっていないでしょうか？

クラシック3Dに変更するとブレンドモードを使用出来るようになると思います。

コンポジションパネル右上のレンダラー名ををクリックする事でセッティングパネルを開くことが出来ます。

パネル内の表示にあるようにCINEMA4Dかレイトレースの場合はブレンドモードが使用出来なくなります。