Photoshopの移動ツールでレイヤーを自動選択するときに、調整レイヤーを選択しないようにしたい

通常のレイヤーに黒でイラストを描いて、そのレイヤーにクリッピングされた調整レイヤーで色をつけています。そのセットを複数組み合わせてイラストを描いています。

移動ツールで画面をクリックして、レイヤーを自動選択するときに、イラストを描いている元のレイヤーではなく、クリッピングされた調整レイヤーが選択されてしまいます。

これを調整レイヤーは選択せずに元のレイヤーだけ選択できる設定はあるでしょうか。