3Dトラッカーを使用した時の「このフレームのカメラを解決できません」

試してみてどうかにはなりますが、

「途中からカメラのズームなどの動きが少し変わるから」の部分を分割して個別にトラッカーを適用してみるのはいかがでしょうか？

最終的にオブジェクトを配置した際のズレなどもでてくるかとは思いますが1つの手段としてみるのはどうかなーと

ズームの影響で、テキストに割り当てたトラックポイントが途中で消失したのかもしれません。

ズームのことは無視して、試してみる事としては、
動画のフレームレートは、何fpsになっていますか？
動画が可変フレームレートで保存されている場合は、HandBrakeを使用して固定フレームレートに変換してから読み込んで３Dカメラトラッカーを実行してみてはどうでしょう。

改善しない場合は、手作業で位置を合わせるのは困難で、また、After Effectsには再計算するような機能はないため、 カメラトラッキング専用のソフト（SynthEyes など）で修正できるか試すしか方法はないと思います。