任意のレイヤーのみ反映させたい

ちょっと現状がよく把握できないのですが、1枚目の写真では円オブジェクトが選択されていないようですね。

素材が透けて見えているので、この時点で何か描画モードを変更されているのではないかと思います。

そして、お尋ねの「円のオブジェクトのみ描画モードが適用され、質感のある素材は見えていない状態」ですが、

1.　円のオブジェクトの中にのみ描画モードが適用されて素材が透けて見えており、周囲の素材は見えていない状態（円オブジェクトの周囲には、素材が見えていてはいけない）

2.　円のオブジェクト内には描画モードで変わっている色調のみが表示され、周囲に見えている素材は透けて見えていない状態（円オブジェクトの周囲には素材が見えていてよい）

の２つの可能性があるように読めます。

もし1.であれば、１つのオブジェクトでマスクと効果をいっぺんにはできないと思いますので、円オブジェクトをコピー・ペーストなどで2つに増やして、片方でクリッピングマスク、もう片方で塗りと描画モードを設定するのがいいでしょう。

2.なのであれば、円オブジェクトに塗りをも一つ増やして、そちらは白い塗りなどを設定して、通常モードにしておけば背景は透けません。