長方形に回転を加えると粗くなってしまいます

それ、スマートオブジェクトにしたものを画像解像度でピクセル数増やしていませんか。

シェイプのままであれば、画像解像度を通しても再計算されてシャープなエッジになります。スマートオブジェクト化してしまった場合は、レイヤーを右クリックで「レイヤーに変換」を選ぶとシェイプパスに戻ります。画像解像度前に行ってください。

ちなみに、スマートオブジェクトというのは単に、

・スマートオブジェクトにした時点での画像を別に持っていて

・拡大縮小の際に、その元画像から計算しなおす

というだけの機能です。

シェイプをスマートオブジェクトにしても、低解像度の時点での見た目が別に保存され、拡大するとその「低解像度の時点でのシェイプ」を元画像として使用して拡大するため、ボケてしまいます。

シェイプはシェイプのままで使用します。