エッジマスクとは？

エッジマスクを検索してもMARIという３Dペイントソフトで使用される用語しか見つかりませんね。
エッジマスク 

おそらく筆者は、MARIのユーザーではないでしょうか。

Photoshopも以前のバージョンには３Dペインティングの機能があったので、エッジマスクに変わる用語がPhotoshopになかった為、他社ソフトの専門用語を使ったと思われます。

エッジマスクは、MARIのユーザーガイドから推測すると、被写体以外をマスクした状態のことだと思います。
調整レイヤーのマスクに「階調の反転」を適用すると、背景に効果が出るようになります。

ちなみに、Photoshopの３D機能は無くなって、Substance 3Dという３D専用ソフトに切り替わっています。