「シーンオーディオからリップシンクテイクを計算」で取り込んだ音声だけが流れて、パペットが動かない

[shiro921]

「シーンオーディオからリップシンクテイクを計算」で取り込んだ音声をリップシンクさせたいのですが、音声だけ流れて、パペットが動きません。

音声を停めると、カメラに反応してリアルタイムの顔が動きます。

音声を再生すると、動きが止まってしまいます。

タイムラインには、「リップシンク　オーディオ入力」の欄は全部同じ色の棒状で、その下の「口形素」は、いろいろな口の形が入っているようです。

音声を再生してもパペットが動かない原因は何でしょう？

また、
リップシンクはいったん保留にして、カメラに向かってしゃべりながら録画しようとしたところ、
カメラだけだと顔の動きにパペットがちゃんと反応するのですが、マイクもオンにして喋りながら録画しようとすると、なぜかパペットの口が動かなくなってしまいます。目や頭は反応して動いています。喋った音声は録音されていて、再生できます。

どうしてマイクをオンにするとパペットの口が動かなくなってしまうのでしょう。
リップシンクが反応しないのと関係あるのでしょうか。

パペットのプロパティは、オーディオ入力もカメラ入力もオンになっています。

両方オンだと干渉するのかと思い、片方ずつにしてみたのですが、カメラで顔（口）の動きをつけながら録音する場合は、両方オンにする必要がありますよね？

試しにサンプルのパペットを開いて、同じ音声で「シーンオーディオからリップシンクテイクを計算」をしてみたところ、ちゃんと音声と顔（口）の動きが一致して再生できました。

自分で作ったパペットの設定に問題があると思うのですが、どこを直せば良いのか分かりません。

原因、お分かりになりますでしょうか。

[k_oshiro]

こんばんは。差し支えなければ、リグモードで口の部分のスクリーンショットを見せていただけますか？どのようにタグづけしているかわかると解決の糸口になります。よろしくお願いします。

[shiro921]

k_oshiro様

ご返信ありがとうございます！

スクリーンショットを添付しました。

口の部分（4枚）と、録画画面（1枚）です。

口は「ニュートラル」「スマイル」「驚き」の3種類だけ設定しています。

録画画面を表示すると、カメラの顔に連動して顔や口が動いているのですが、

「再生」ボタンを押して音声を流すと、ぴたっと静止してしまいます。

解決策がお分かりになりましたら、ご教授いただけると大変助かります。

どうぞ宜しくお願いいたします。

[k_oshiro · Accepted solution]

おはようございます。スクリーンショットありがとうございます。おっしゃるように画像を拝見すると、口のタグが、ニュートラル、スマイル、驚きにしかついていません。これらのタグは、Webカメラに映ったご自身の口の表情で動くのみです。音には反応しないタグです。

音声ファイルを読み込んで、再生させてもそれは音を認識するタグに反応して口が動く機能なので、音に反応する口のタグをつけないとタイムラインを再生させても動かないのが原因だと思います。試しに、スマイルや驚きのレイヤーに、他の口のタグを追加してみてはどうでしょうか？

AaとかD,Ee,のタグを追加してみてください。音に反応して動くと思います。※Mはニュートラルのレイヤーのみに追加してください。あるいは、新たに口の形を発音ごとに描き分けたレイヤーを作って、それぞれに対応した発音に合うタグを追加してみてはどうでしょうか？

[shiro921]

早速のご返信をありがとうございます！

できました！

口のタグすべてを、3つの口の形に振り分けて連動させてみたところ、

ちゃんと音声に合わせて動いてくれました！

分かりやすくご教授いただいた内容から、カメラでは動いていたけど、

音声が反応しない原因が理解できました。

本当にありがとうございます！　助かりました～！