編集画面からプロジェクトを新規で立ち上げると、直前のプロジェクトが開いたままになる。

これは特に不具合ではなく通常の動作かと思います。だいぶ以前はPremiere Proは同時に一つのプロジェクトしか開くことができず不便だったのですが、現在のバージョンは複数のプロジェクトを開くことができるようになっています。

WordやExcelやメモ帳などなど、他のアプリケーションと同様のイメージです。

開いておく必要がないプロジェクトは、閉じてあげると良いと思います。

ファイルメニューやショートカットでも閉じられますが、複数のプロジェクトを開いている場合には添付画像のようにプロジェクトパネルの閉じたいプロジェクトのタブを右クリック（もしくはタブ右のボタンをクリック）して閉じるとわかりやすいのではないかと思います。