photoshop 初心者　オーバーレイ　ブラシ

敢えて根本的な話を書きますが、公式のチュートリアルは実施されているでしょうか。

個人が出されているような動画解説は、肝心なところが飛ばされていることがあったりします。

基本を押さえるとした場合、公式のものだったり、市販の書籍のほうが有効なことが多いです。

なお アドビサポートコミュニティ 総合案内から Photoshop デスクトップ/Mobile フォーラム に移動しました。

当該箇所のブラシでの操作は「レイヤーマスク」に対して行っていますね。

レイヤーマスクの黒色と白色の境界部分を（黒色のブラシの）オーバレイでなぞることで、黒を濃くする＝マスクを強く（濃く）して境界部分をマスクしています。

写真に対しての処理ではなくレイヤーマスクへの処理なので、チャンネルパネルでレイヤーマスクだけを表示して境界部分を同じように操作してみると分かりやすいかもしれません。