画質を変えると境界線の設定が変わってしまう

現象は確認できました。

レイヤースタイルは、Photoshopデータの互換性が重要なためPhotoshopと同じ1~250pxの制限になっていると思います。
1/2画質は、Photoshopにないので表示がおかしくなっていますが、過去のバージョンでも同じなので、不具合ではないと思います。

最終出力も画質の設定が反映されるので、250pxを超える境界線は使用できないと思っておいた方が良いです。

レイヤースタイルで太い境界線を描くと、形状がカクカクしてくるのでオートトレースしてからパスをシェイプレイヤーにペーストして線を追加した方が結果が良くなることも多いと思います。