マルチカメラの音声の切り替えについて

「同じ場所で異なるカメラで録音された素材を同時再生している」ということが、問題の原因ですね。

映像のフレーム単位（30fpsであれば約33ミリ秒）で合わせた程度では、音声のタイミング合わせとしては不十分でして、おっしゃる通り音が二重に聞こえたり妙なフィルターがかかったように聞こえることが多々あります。プロの映像制作現場では、基本的には避ける方法です（ロケ現場での突発的な状況で、そうせざるを得ない場面が出てくることもありますが、極めて限定的です）。

今回のケースのように、やむを得ず複数のカメラの音声を使わざるを得ない時は、おっしゃる通り喋っている演者さんの声が一番よく拾えている音のみを生かしながら繋ぐという、手間のかかる編集をすることになります。

もうひとつ、各カメラの音声を「オーディオユニット時間」で合わせこむという方法もあります。

Premiere Pro タイムラインでのオーディオの編集 

（長尺の素材ですと、冒頭でタイミングを合わせても、各カメラのクロックの誤差で少しずつずれてくることもあります。）

音が二重に聞こえるということはなくなりますが、微妙なずれで妙な音質になったり（コムフィルターと呼ばれる現象）、全カメラのマイクを生かすと不明瞭に録れている音も混ざってしまい、結果的に質の悪い録音状態に聞こえてしまうと思います。

そのため、オーディオユニット時間で合わせ込んだとしても、結局は演者さんごとにうまく声を拾えている音声をメインで使用して、例えば両端の人が食い気味に会話しているといったところだけで両方のカメラの音をミックスするという感じになってしまうのではないかなと思います。

演者さん同士の会話の絡み具合（フリートークなのか、司会者が毎回一人ずつ話を振って一定時間一人だけが話すスタイルなのか、などなど）や、映像のスイッチング手法（話している演者さんの映像を長時間でも切り替えなしに使うか、相槌をうつ他者の映像を入れ込むのか、などなど）によっても適切な手法は変わってくるので、状況次第で対処法も変わってくるのではないかなと思います。