シェイプレイヤーを拡大表示するとギザギザになる

シェイプレイヤーは、自動でラスタライズされているので問題ありません。

After Effects でのレイヤーの管理

スクリーンショットでは、800%（横８倍x縦８倍）に拡大されていますが、これは 2K解像度の動画を60インチ以上のテレビを画面近くから見た状況になると思います。

（Retinaディスプレイの場合は、もっと大きなテレビに相当するかもしれません）

コンポジションを4K解像度にすれば、400%で同じサイズのテレビに相当するので、下図のように画質はよくなります。

パスは残っているので、何回変形させても常に最適にラスタライズされます。

Illustratorのデータを読み込む場合は、AIファイルで読み込んだ場合、変形させると画質は悪くなりますが、パスをコピーしてAfter Effectsにマスクとしてペーストするとパスが残るので、パスを変形させても画質は悪くなりません。

また、マスクからシェイプに変換するスクリプトやシェイプとして読み込めるエクステンションを他社が開発しているので、Illustratorで作成したオブジェクトを高画質のまま利用できるようになってきています。