範囲選択後、非選択部分を削除すると範囲選択部分が透過、色のはみだしが確認される

オブジェクト選択ツールで選択したあと、多角形ツールで修正している、のですね。

オブジェクト選択ツールはそんなものです。多少マシにするためには、オブジェクト選択ツール使用時に、オプションバー中にある「ハードエッジ」にチェックしてください。

また、選択範囲の実態は濃淡のあるグレースケールですので、簡易表示である点線の状態で編集するのは大変ですから、「Q」を押してクイックマスクモードに切り替えながら編集するとよいかと思います。

クイックマスクモードになっていると、点線の選択範囲を、画像として扱える→ブラシツールなどで画像を扱うように編集できます。

注意）クイックマスクモードでは、レイヤーが赤く表示されるなどして「クイックマスク編集モードですよ」と分かるようになっています。もう一度Qを押して、そのモードから抜けてから他の操作をしてください。

ツールバー下部にあるクイックマスクモードボタンをダブルクリックして、

 オーバーレイ表示色を濃いめに（80%とかに）設定しておくとよいと思います。