音ズレについて

[綾25272689yeqy]

叩いてみた動画を編集しています。

映像のドラム音(mov) と音源の音楽(mp3) が徐々にずれてしまいます。

もし何か解決策をご存知でしたら教えていただけないでしょうか？

映像はiPhone13とiPhone12miniで撮影し、マルチカメラ機能を使っています。パソコンはMacBook Airです。

medeia encounterを使って以下のことを試しても治りませんでした。

・ファイル形式をmp4に揃える

・ビットレートをCBRに揃える

・fpsを30に揃える

[k_oshiro]

こんにちは。

数点確認させてください。

1）mp3の音源を流し、それを聴きながら演奏者がドラムなどを叩いているという状況でしょうか？

2）それをiPhone13とiPhone12miniの2カメラで同時撮影しているという感じでしょうか？

3）撮影後Premiere　Proでマルチカメラ設定でカメラ1、カメラ2、mp3をまとめると思うのですが、カメラ1の音と、カメラ2の音は徐々にずれない。mp3の音とカメラ収録の音が徐々にずれていくということでしょうか？

詳細をお伝えいただけますと原因がわかるかもしれません。

[綾25272689yeqy]

こんにちは。ご連絡くださりありがとうございます。

私の説明不足で申し訳ないです。

1)m4a(AACオーディオファイル）をイヤホンに流し、演奏者がそれを聴きながらドラム演奏をしている状況です。mp3の音源もありましたが、ミスで演奏者は同曲のm4aの音源を聴いています。

2)それをiPhone13とiPhone12miniの2カメラで同時撮影しています。

3)PremiereProのマルチカメラ設定でカメラ1、カメラ2をまとめ、mp3の音源を手動で合わせています。（カメラ１、カメラ２、mp3の音源をマルチカメラ設定するとエラーになりました。）カメラ1の音とカメラ2の音はずれずにマルチカメラ設定になっています。このマルチカメラの音（カメラ収録の音）とmp3の音が徐々にずれていきます。

音源をmp3ではなくm4aで編集することも試しましたが、音ズレは治りませんでした。

何か少しでもお伝えしていただけることがございましたら、何卒お願いいたします。

[Ckun]

既にCBRにそろえるところまで実施なさっているようですので、こういった場合には、映像か音声のどちらかの速度を微調整して、合わせてゆくしかないように思います。

今回の問題の解決策ではないのですが、一応念のため、MP3をAdobe AuditionなどでFs48kHz 24bitのwavに変換してから読み込んでいただいた方が無難化と思います。

詳しく状況を見てゆくと他の解決策が見つかるかもしれないのですが、結構細かい検証が必要になってきますので、とりあえずwavの速度を微調整して映像の頭とラストで帳尻が合うように揃えていただくといかがでしょうか（音のピッチを重視なさる場合には映像の方で合わせても良いのですが、動きのぎこちなさが出るかもしれないです）。

ドラムの映像は音のシンクロが非常にシビアで、私もMV編集では一番神経を使います。結構難しい作業になるかもしれません……。

【追記】

入れ違いで投稿後にk_oshiroさんのご返信を拝読して気づいたのですが、私は「ドラムを叩く様子を2台のiPhoneと1台の小型レコーダーで撮影＆録音」を想定しておりました。

しかしながら、今回のケースはk_oshiroさんのご返信の(1)のパターンの可能性が高そうですね。

その場合、私の返信内容では音源ではなく映像の方の速度で調整する方が適切かと思います。

曖昧に解決せずしっかり原因をつかむためには、k_oshiroさんがおっしゃる通り、より細かい情報が必要になると思います。

[綾25272689yeqy]

ご連絡くださりありがとうございます。

「演奏者がイヤホンで音源を聴きながらドラムを叩く様子を２台のiPhoneで撮影&録音」という状況です。

私の説明不足で申し訳ないです。

・音源をwavに変換する

・映像の速度を音源に合わせて調整する

以上をやってみようと思います。ご親切に教えてくださりありがとうございます。

[k_oshiro]

返信ありがとうございます。

イヤホンでモニターとなると、録音している2台のiPhoneにはオケのmp3の音声が録音されていないということですね。

これは推測ですが、ドラム演者の演奏が正確でないため編集時mp3音源とあわせるとタイミングが合わないということはないでしょうか？（私もドラム叩くので曲の後半になるほど熱中してしまうのでオケのタイミングに合わせて叩くのは難しいです）

つまり、システムや機器の問題ではない。

iPhoneの映像にオケのmp3の音声が録音されていれば3つの音声波形を視認できるのでタイミングも合わせやすいし、ズレる原因もつきとめやすいと思います。

叩いてみたをマルチで録音するならオケの音も同時にiPhoneで拾える環境で撮影するのがいいかもしれませんね。

[綾25272689yeqy]

ご親切に教えてくださりありがとうございます。

演奏者によるずれもあり、何度も撮影したのですが、やはり撮影時よりもあまりにも音源とずれてしまうので編集側の問題ではないか？と考えるようになりました。

・撮影するときにiPhoneにmp3の音声も録音する

こちらも試してみて、タイミングを合わせたり、ズレる原因を考えてみようと思います。

教えてくださりありがとうございます。

[Ckun]

なるほど、状況を理解いたしました。m4aの再生機で速度がずれることは考えにくそうですね（音楽練習・語学学習用など再生速度を容易に変更できる機種で再生した場合は設定ミスの可能性もありますが）。

そう考えると、動画側の速度がずれている可能性が高いかもしれないと思います。

例えば29.97fpsと30.00fpsの相互変換では、フレームを1:1で対応させるために0.1%速度を変える（プルアップもしくはプルダウン）する手法がありまして、そのような処理がCFR変換や30fps変換の過程で生じている可能性があると思います。（k_oshiroさんが書いてくださった24.00fpsと23.976fpsの音ずれも同じ原理かと思います。）

私自身では検証していないので、適切な素材を探してみて検証してみようと思います。

とりあえず、2台のiPhoneで撮影した「オリジナルのMOVファイル」（MP4への変換や30fpsへの変換、CFRへの変換などを一切していない元のファイル）をそれぞれV1・A1、V2・A2に、m4aフィルをA3に配置し、iPhoneの２つのクリップを選択して「同期」を選んで「オーディオ」にて同期させたうえで、A3のm4aのタイミングをずらしながら合わせこんでいただいてずれがあるか否かご確認いただくといかがでしょうか。

ちなみに私の経験では、非常にまれ（この業界に入って２０年くらいですが、その間に１回だけ）ではありますものの、作曲者さんの手違いで（詳しくは聞いていませんが、DTMソフトの設定ミスらしいです）「微妙に速度が変わってしまった」ということもありました。そういった可能性も踏まえ、撮影当日に再生に使ったm4aファイルそのもので検証していただければと思います。

[Ckun]

結論から申しますと解決策は見つからなかったのですが、iPhoneで撮影した映像が実際の時間に対してどの程度ズレるのか実験しました。

先に結論を書きますと、VFRによる揺らぎを除けば、数分程度の素材ではズレは生じないことを確認しました。

というわけで本題の現象の原因も絞り込めないところでして、再撮影が許されるならば、k_oshiroさんが教えてくださったように、撮影現場で音楽の方もiPhoneに入れていただく方が楽なのかなと思います（音楽もマイク収録になるので、後から入れるよりも明瞭度は低下しますが、臨場感があってよいかもしれませんね）。

一応、どのように検証したかは以下に記しておきます（読み飛ばして頂いてOKです）。

iPhoneの撮影フレームレートと時間の計測であることを踏まえ、日本の映像制作で一般的な1/1.001のフレームレート（29.97fpsや59.94fps）ではなく、60.00fpsの環境にて調べました。

細かい説明は省きますが、60.00fpsの映像にタイムコードを焼き付けたものを、60.00fpsでモニター表示し、それをiPhone SE2 (iOS 15.6.1)で撮影しました。

パソコンは、環境の都合でWindows10nのマシンで、Premiere Pro 22.6.2を使用しています。

iPhoneで撮影した素材は可変フレームレート(VFR)で、MediaInfoというソフトで調べると、最大66.667fps、最小54.545fps、平均60.00fpsとなりました。

iPhoneで撮影した映像をPremiere Proに読み込み、元の映像にピクチャーインピクチャーではめ込み、ズレを比較しました。

上記画像は、スタート時点の映像で、10:00:00:00にそろえております。

そのまま、3分後を確認しますと、

このように全くずれはありませんでした。

しかしながら、VFRですので途中ズレが発生する部分はあります。

というわけで、VFRによる揺らぎはあるものの、時間がどんどんズレる、という現象は確認できませんでした。

もっとも、iPhoneの機種やiOSのバージョン、被写体の動きなどによっても変化があるかもしれず、この実験だけで結論を出せるものではありませんので、あくまでも参考程度にとらえていただければと思います。

[gt5fbf]

映像ではなくオーディオの経験からお話しますが、オーディオのサンプルレートがずれていると同様の現象が起こります。

たとえば元音源がCDだとするとサンプリングレートは44.1kHzです。一方で、もし収録側のサンプリングレートが48kHzなどになっていると、最初は合っていても徐々にずれていきます。

#フレームレートではなく、オーディオのサンプリングレートです。

この場合、サンプリングレートを変換して揃えればタイミングが揃うと思います。