選択の境界線が変化しません。

まず、「選択とマスク」は選択範囲とレイヤーマスク両方に使えます。

選択範囲がきちんと取れているかどうか、属性の「表示」からオーバーレイ、白黒などを選んで、OKを押して確定する前にリアルタイムで確認してください。

「選択とマスク」は選択範囲の境界線を調整するのではなく、すでに作成済みのレイヤーマスクを調整するものです。

白黒のイラストを色選択したらレイヤーにマスクを適用し、その後「選択とマスク」でマスクの境界線を調整する、という手順で使用します。

参考までに、文字で選択範囲を作成し、レイヤーマスクを適用したものを添付します。

下が未加工のもの、上はレイヤーを複製して「選択とマスク」でレイヤーマスクを滑らか100%にしたものです。

質問の際にはとりあえず、OSの種類とバージョン、Photoshopのバージョンを教えてください。

質問テンプレート貼っておきますね。↓

返信がつきやすい投稿をするには

質問には一般ユーザーの方がボランティアで回答したり、アドビスタッフが回答したりします。質問する内容は他の人がわかるようにできる限り詳しく記述しましょう。

例えば次のような情報があると、問題を解決する際に手がかりとなり、非常に役に立ちます。

個人情報（本名、メールアドレス、シリアル番号、住所等）は絶対に記載しないでください。

①お使いのOSとそのバージョン　：　Mac OSX 10.13.6 や Windows 7、Windows 10　　など

②Photoshop のバージョン ：　CS6, 20.x　　など

③トラブルの内容　：　何をしようとした時に、どのような問題が発生するのかについての具体的な説明

④エラーメッセージ　：　エラーメッセージが表示された場合はその内容