Photoshopで画像を配置すると画質が荒くなる

1. ズームは100%で見ていますか？

2. Illustratorで作成したのは図形（ベクター）ですか？  それともラスタライズした本当の画像ですか？

1. がいちばん大事で、拡大表示するとピクセルのガタガタが見えるのはごく当然なので心配いりません。

2. は認識しておきたいところです。一般に「画像」というとラスターオブジェクト（ピクセルでできているもの）を想像させるためです。対して、Illustratorで塗りとか線とかで作るものは、いわば「図形」（ベクターオブジェクト）です。Photoshopに持ってくるとどこかのタイミングで必ずピクセルの集まりになります。

ちなみにピクセル数が固定なら、解像度は高くても低くても今回の問題には無関係です。

Illustrator上で元が何mm × 何mmでできていても、これも関係ありません。