encore5.1が使用できるMacのOS Xのバージョン

CS5.ｘなら最終としては10.8までの対応です。

それ以降のOSでは動作保証されません。

なお10.13以下のOSはApple自体のセキュリティサポートが終わってます。

インストーラーを含む32bitアプリケーションが動くのは10.14までです。

10.15からは、CC 2018以下はインストールや起動自体ができません。

Mac環境の場合はオーサリング用ソフトがきわめて限られるので、これから環境を考えるならWindowsベースになることでしょう。

CS5ですから公式には10.6だったと思いますが条件次第でそれより新しいOSでも動作する可能性はあるかと思います。
しかしながら、現在サポートのあるmacOSではセットアップすら困難ではないかと思います。
古いOSのマシンがあるとしてもサポートの切れたセキュリティに問題のあるOS上でサポートの切れたアプリケーションを運用するということになります。
サポートが切れて久しいOSやアプリケーションを維持するコストとリスクを抱えるのならAdobe社以外のアプリケーションを新しいOSに導入するほうが得策ではないでしょうか。