カラー化すると一部分が不自然に

ニューラルフィルター内である程度コントロールするには以下ように「画像を手動でカラー化」の画像サムネイル上の任意の点をクリックします。カラーパネルが開くので適切なカラーをピックアップしてその部分の色指定とします。

サムネイル上のコントロールなので精密なコントロールはむつかしいですが、ある程度の調整は可能です。

ここで追い込んだ上で後工程として任意の部分に対するマスク＋調整を行えば手数がそれなりに減らせると思います。