IA Generativa con capas de ajuste

Hola, a ver si alguien sabe si esto tiene alguna solución: cuando utilizo la IA generativa para añadir un objeto a una foto y quiero equilibrar el color o tono mediante una capa de ajuste ocurre que el ajuste lo aplica a todo el recuadro al que previamente indiqué a la IA que debía colocar el objeto. Esto es, no añade el tono solamente al objeto, sino a todo el encuadre. ¿Hay solución a esto?

Gracias