new Windowで作ったウインドウを閉じずに関数を動かしたい

> //ターゲットエンジン指定（←を入れないとdialog以外のウインドウが開かない？）

ですです。

Ten Aさんの言われている通りです。ハンドラ関数をBridgeTalk経由でIllustratorに送らないと動きません。

自分も相当だるい思いをした経験あります。

var bt = new BridgeTalk();
bt.target = "illustrator";
bt.body = "alert('hoge');";
bt.send();

 というのがシンプルな例ですが、bodyは文字列で送る必要があり、メンテナンス性がよくないです。

そこで関数全体をuneval()で括る手段にみんなで飛びつきました。

var bt = new BridgeTalk();
bt.target = "illustrator";
bt.body = uneval(alertFunc) + "(" + "hoge".toSource() + ");";
bt.send();

function alertFunc(mes){
    alert(mes);
}

完了アラートは上記の関数内に入れてしまえば処理後に普通に出るですが、

アラート後さらに何かしたい場合は、BridgeTalkの戻りをつかまえる必要があります。

var bt = new BridgeTalk();
bt.target = "illustrator";
bt.body = uneval(alertFunc) + "(" + "hoge".toSource() + ");";
bt.onResult = function(res){
    button1.text = res.body;
}
bt.send();

function alertFunc(mes){
    alert(mes);
    return "おわった".toSource();
}

CEPは本当におすすめなんですが、証明書の発行などを的確にやらないとユーザーにデバッグモードでの使用を強いることになったりと、それなりにハードルはあります。CC2014以前では動かないなども（それはもういいか…）。