リップシンクが合わない？MV制作で音と口のズレを直した3つの方法

こんにちは、クロクマです。

今回は以前のMV制作の続き。

今回は、以前と同じ曲『Lowglass』のラップ部分のリップシンクについてです。

この『Lowglass』という曲には男性のラップパートを入れてるんですが、そのラップが早すぎてリップシンクの口が追いついてこない。

こんなことが起こったわけです。

ラップパート自体はカッコよく気に入っていたので、なんとかリップシンクで歌わせたい。という試行錯誤の話です。

先に結論から言うと、

これが、いちばん効きました。

ラップなんか使わねーから関係ねーや。と思う方が多いかもしれませんが、これけっこう色々な場面で使える方法なんで読んでみて損はないと思います。

今回やったことは、大きく3つです。

ただし、何でも直せるわけではありません。

口のタイミングがズレているだけなら直せる。

でも、必要な口の形そのものがAIで作られていない場所は、時間を動かしても直りません。

そこを数字と画像で見分けて、直す場所と、あえて触らない場所を決める。

これが今回の結論です。

普通の歌や会話なら、それなりに合う。

でも、ラップが速くなった瞬間、口の動きが少しずつ遅れていく。

最初は合っていたはずなのに、5秒くらい経つと、もう別の歌を歌っている人みたいになるんです。

まぁやっぱりこんなもんなのかな〜。

最初は本気でそう思いました。

今回は、そこからどうやって約30秒の縦型MVまで持っていったのか。

実際の失敗と、3つの方法を順番に書いていきます。

まずは完成MVを👇

フル音源はコチラ⬇︎

そもそも、なぜ30秒だけなのか

最初から1曲フルのMVを作ろうとは思っていませんでした。

というか、初心者の私には無理です 笑

フルで作るとなると、必要な画像も動画もカット数も一気に増えます。

当然、時間もかかる。

生成をやり直すたびに、クレジットも溶ける。

家族持ち、お小遣い制の40代が、いきなりそこへ突っ込むのはなかなか怖いです。

なので私は、曲の一部だけを切り取って、見た目の違うショートMVを何本か作る方法にしました。

• 1本目は、昼のダイナーと女性ボーカル

• 2本目は、夜・雨・ネオンと男性ラップ

• フル版は、作れそうならあとで考える

こんな感じです。

同じ曲でも、切り取る場所と見た目を変えれば、別の動画として発信できます。

今回の記事は、その2本目。

この記事はMV全体の作り方ではなく、ズレていく早口ラップの口をどう合わせたかに絞ります。

後述しますけど、ラップじゃなくても使える方法だと思います。

最大の壁は、早口になるほど口が遅れていくこと

今回使ったのは、Klingのリップシンク機能です。

リップシンクというのは、先に作った人物動画へ音声を渡して、あとから口の動きを合わせる処理のこと。

普通の会話くらいの速さなら、けっこう自然に合います。

でも、今回のラップはかなり速い。

最初の1〜2秒は合っているように見えるのに、時間が進むほど少しずつ口が遅れていきました。

私はこの状態を、勝手に“ドリフト”と呼んでいました。

車が少しずつ横へ滑っていく感じです。

最初に少しズレているだけなら、映像全体を前後へ動かせば直せます。

でも、途中からズレが大きくなると、全体を動かしても別の場所がズレる。

どないしたらええねん。って話です。

では解決方法！・・

その前に。

先に言っておきます。

これから書く方法は、私が自力で編み出したわけではありません。

崩れた動画を見ながらClaudeに、

と聞いたら、いくつか方法を出してくれました。

私がやったのは、

「なんか変」
「これは自然」
「いや、直す前のほうがいい」

と判断したこと。

手を動かしたのは、ほぼClaudeです。

導入で先に書いた3つの方法は、ここからClaudeといっしょに試したものです。

順番に説明します。

解決方法 ① 0.8倍速にしてから口を合わせる

いちばん効いたのが、これでした。

考え方は単純です。

実際にやった流れは、次のとおり。

1. 映像と音声を、両方とも0.8倍速にする

2. 遅くした映像と音声でリップシンクする

3. 完成した映像を1.25倍速にして、元の速さへ戻す

4. 音声は、きれいな等速の元音声へ差し替える

0.8×1.25＝1なので、最後は元の速さに戻ります。

遅い状態で口を作っているので、AI側は1つの音に使える時間が増える。

それを口が合ったまま元の速さへ戻す、という仕組みです。

言われてみれば「なるほど」と思うんですけど、自分では絶対に思いつきませんでした。

これだけで、体感では9割くらい合いました。

実際に使った処理

裏側では、`ffmpeg`という動画・音声処理ツールを使っています。

# 映像を0.8倍速にする
ffmpeg -i 元動画.mp4 \
  -filter:v "setpts=1.25*PTS" \
  -r 30 -an \
  リップシンク入力_0.8.mp4

# 音声も0.8倍速にする
ffmpeg -i 元音声.wav \
  -filter:a "atempo=0.8" \
  音声_0.8.wav

# リップシンク後、映像を元の速さへ戻して、
# きれいな等速音声へ差し替える
ffmpeg -i リップシンク済.mp4 \
  -i 綺麗な等速音声.wav \
  -filter_complex "[0:v]setpts=PTS/1.25[v]" \
  -r 30 \
  -map "[v]" -map 1:a \
  -shortest \
  出力.mp4

大事なのは、映像と音声を両方とも0.8倍速にすること。

映像だけ遅くして、音声が元の速さのままでは合いません。

あと、リップシンク後の音声は使わず、最後にきれいな元音声へ戻します。

遅くして、速くして、と音声まで何度も処理すると、どうしても音が劣化するからです。

`ffmpeg`はMacへ最初から入っているものではありません。

私は以前、別の動画を触ったときにClaudeから教えてもらい、Homebrew経由で入れました。

黒い画面にコマンドを打つ。

昔の私なら、もうこの時点でそっと閉じてます 笑

でも今は、

「何をしたいか」
「どの順番で処理するか」

ここだけ分かっていれば、実行部分はAIへ任せられます。

解決方法 ② 残った違和感を“読唇”で調べる

0.8倍速の方法で、かなり自然になりました。

ただ、それでも一瞬だけ、

「ん？　今ちょっと遅れた？」

と感じる場所が残ります。

ここで感覚だけを頼りに動画全体を動かすと、合っていたところまで壊れます。

しかも動画生成は、やり直すたびに時間もクレジットも使う。

時間も金もない副業勢としては、無駄なガチャはできるだけ増やしたくないんですよね。

そこでClaudeが始めたのが、口の形を1コマずつ見て確認する方法でした。

使ったのは、`mlx-whisper`という音声文字起こしツールです。

これはMacに最初から入っている機能でも、Claude内蔵の機能でもありません。

OpenAIの音声認識モデル「Whisper」を、Appleシリコン搭載Macで動かしやすくしたPython用の別ツールで、PyPIのmlx-whisperからインストールできます。今回は環境の確認からインストールまでClaudeに任せました。

たとえば今回のラップなら、

を数字で出します。

今回の動画は1秒30コマなので、秒数を30倍すれば、おおよそのコマ番号へ換算できます。

実際に使った処理は、こんな感じです。

import mlx_whisper

r = mlx_whisper.transcribe(
    "対象クリップ.wav",
    path_or_hf_repo="mlx-community/whisper-large-v3-turbo",
    word_timestamps=True,
)

for seg in r["segments"]:
    for w in seg["words"]:
        print(f"{w['start']:.2f}-{w['end']:.2f}  {w['word']}")

これを動かすと、

4.00-4.70  Microsecond

のように、単語ごとの開始秒と終了秒が出ます。

ただし、Whisperの数字が100％正しいわけではありません。

歌は音楽と混ざっているので、普通の会話より聞き取りを間違えやすいです。

実際、

`aimai` が `tremor in the eye`

みたいな、なかなか大胆な聞き間違いもありました。

なので、

• 5秒くらいの短い区間に切って調べる

• 正式な歌詞と照らし合わせる

• 最後は映像のコマと耳でも確認する

この3つをセットでやっています。

Whisperは正解を出す機械というより、探す場所を絞るための道具という感じです。

口には、音ごとに分かりやすい形があります。

• M・B・P：唇が閉じる

• F・V：下唇が上の歯に触れる

• ア系の音：口が大きく開く

• イ・エ系の音：横へ薄く開く

• ウ系の音：唇をすぼめる

全部を完璧に見分ける必要はありません。

いちばん分かりやすいのは、M・B・Pです。

「Mの音が鳴っているのに、口が開きっぱなし」

なら、ズレているか、そもそも必要な口の形が作られていない可能性があります。

次に、動画の口元だけを切り出して、1コマずつタイル状に並べた画像を作りました。

口だけのパラパラ漫画みたいなものです。

この画像も、`ffmpeg`で自動的に作っています。

# 口元を切り出し、30fpsで10列×6段に並べる
# cropの数値は、人物の口の位置に合わせて変更する
ffmpeg -i 対象クリップ.mp4 \
  -vf "fps=30,crop=220:140:240:760,scale=220:-1,tile=10x6" \
  -frames:v 1 \
  口元シート.png

`crop`の数字は動画ごとに変わるので、その調整もAIへ任せました。

これと音声のタイミングを照らし合わせます。

ここまで分かれば、

「なんか変」

だったものが、

映像が約2コマ遅れている

に変わります。

今回の約15秒の長回しカットでも、6秒付近と12秒付近に小さな遅れが見つかりました。

ズレが分かれば、その区間だけを少し伸ばしたり縮めたりして、口の位置を音へ寄せられます。

処理の考え方は、動画を前・補正区間・後ろの3つへ分けて、真ん中だけ速度を変え、もう一度つなぐというものです。

# 例：2.0〜3.5秒だけ少し速め、口の動きを前へ詰める
ffmpeg -i 入力動画.mp4 \
  -filter_complex "
    [0:v]trim=start=0:end=2.0,setpts=PTS-STARTPTS[a];
    [0:v]trim=start=2.0:end=3.5,setpts=(PTS-STARTPTS)/1.08[b];
    [0:v]trim=start=3.5,setpts=PTS-STARTPTS[c];
    [a][b][c]concat=n=3:v=1:a=0[v]
  " \
  -map "[v]" -r 30 -an \
  補正済み動画.mp4

これは考え方を示すための例です。

実際には、ズレている秒数やコマ数に合わせて、Claudeが区間と倍率を調整しています。

音声はこの処理へ混ぜず、最後に等速のきれいな元音声を敷き直します。

ただ、数字が出たからといって、全部直せばいいわけではありませんでした。

今回の長回しでは、

• 強めに直した版

• 控えめに直した版

• 何もしない版

を作って見比べています。

最終的に残したのは、12秒付近の約1.2秒だけを、2コマほど前へ詰めた補正でした。

6秒付近にも遅れはありましたが、そこを触ると前後の口が逆に不自然になった。

なので、そこは直していません。

測ったうえで、何もしない。

これも立派な判断だと思います。

ここが今回、いちばん大事な学びでした。

口の形そのものが作られていない場所は、時間を動かしても直りません

タイミングが遅れているだけなら、映像を少し詰めれば直せます。

でも、Mの音なのに一度も唇が閉じていないなら、閉じた口のコマ自体がありません。

存在しないものを前後へ動かしても、そりゃ出てこないです。

長回しのあとに作った5カットでは、暗い顔の3カットが少し甘く見えました。

でも調べてみると、大きくズレていたわけではありません。

暗くて、子音の細かい口の動きが見えにくかっただけでした。

ここを無理に直すと、合っていた母音までズレる。

なので、この5カットには時間の伸縮を使っていません。

気持ち悪いから、とりあえず触る。

これ、画像でも動画でもやりがちなんですけどね。

でも触った結果、前より悪くなることも普通にあります。

直す技術より、直さない判断のほうが大事なときもある。

今回かなり実感しました。

解決方法 ③ 音声は切らず、映像だけ切り替える

早口ラップを約30秒ずっと同じ画で見せるのは、さすがに間が持ちません。

なので、途中で何度も映像を切り替えています。

このとき使ったのが、

という方法です。

ただし、音声を1本置くだけで、勝手に全部合うわけではありません。

各カットを作る段階で、

「この映像は、曲の何秒から何秒までを担当する」

と決めて、その区間の音声でリップシンクしておきます。

編集するときは、各映像を担当する曲位置へ置く。

音声は切らず、映像だけ切り替える。

こうすると、カットを変えても音の流れが途切れず、口との対応も保ちやすくなります。

地味なところかもしれませんが、これはMV作ってる方は普通にやってることなんじゃないかと思います。

あとから1カットずつ音を合わせ直すより、ラクな方法です。

それでも15秒の長回しを残した理由

いろんなMVを見ていると、リップシンクを15秒近く長回ししている動画って、意外と少ないです。

数秒ごとにカットを変えるものが多い。

たぶん理由は、2つあります。

ショート動画はテンポよくカットを変えることも多いので、そもそも長回しと相性がいいとは言いにくいです。

ただ今回、冒頭のカットだけは、約15秒をほぼノーカットで使いました。

早口ラップの勢いを、途中で切りたくなかったからです。

0.8倍速の方法とコマ単位の確認を使えば、長回しでも口を合わせることはできました。

でも、ここで別の問題が出ます。

15秒持たせるなら、

• 表情が変わる

• 体がビートに乗る

• 光やカメラが少し動く

• 曲そのものに勢いがある

こういう見せ場が必要です。

これも、作ってみて初めて分かりました。

そのほか、作りながら気づいたこと

今回も、AI動画あるあるは普通に起きました。

・背景が勝手に走り出す

夜の窓や車をAIが乗り物の中だと判断して、背景が勝手に流れ始めることがありました。

「背景を動かさない」と書いても動く。

いや、言うこと聞いてくれよ。って感じです。

構図を変えたり、モデルを変えたり、「建物は完全に静止」と強く指定したりして抑えました。

・言葉にしづらい修正は、自分でやったほうが早い

これは前回のMVでも感じたことです。

言葉で説明しやすい作業は、AIへ任せると速い。

でも、

「もう少しだけ」
「なんかここが気になる」

みたいな微調整を何度も生成AIへ投げると、時間もクレジットも溶けます。

AIへ全部やらせることが正解ではありません。

任せる場所と、自分で判断する場所を分ける。

副業で使うなら、ここはかなり大事だと思います。

この方法は、ラップ以外にも使えると思う

今回、私が実際に試したのは早口ラップです。

なので、

「どんな歌や会話でも絶対にうまくいきます」

とまでは言えません。

ただ、やっていることは、

というものです。

考え方としては、

• テンポの速い歌

• サビだけ言葉が詰まっている曲

• 早口の会話

• AIアバターの解説動画

こういう場面にも応用できると思います。

そして、口の動きをコマ単位で確認する方法や、音声を1本につないでおく方法は、速さに関係なく使えます。

まず0.8倍速で試す。

それでも変なら、感覚だけで触らずに調べる。

直せるズレなのか、そもそも口の形がないのかを見極める。

この順番なら、無駄なやり直しをかなり減らせます。

最後に今回のMV制作で感じたこと

今までも色々AI触ってきて、いろんな情報を見てきたのでリップシンクの精度はなんとなくわかってましたけど、まさかAIが出したものをAIで直すとは（直せる方法があるとは）思わなかったです。

実際、私一人では100パームリ。

`ffmpeg`もWhisperも、コマ単位の検品も、自分から進んで調べようとは思いませんし、そんなん知らんて。

でも、

「口が合っていない」
「ここだけ変」
「直す前のほうが自然」

この判断は、自分にしかできません。

AIが苦手な場所は、AIが処理しやすい形へ素材を変える。

感覚で分からない場所は、数字や画像にして確かめる。

最後に、採用するかどうかは人間が決める。

今回やったことは、たぶんこれだけです。

AIに丸投げしたというより、

こんな感じ。

専門スキルがないから作れない、ではなくなってきています。

分からない作業はAIへ聞けばいい。

でも、何を作りたいのかと、出てきたものが良いかどうかは自分で決める。

40代の普通のおっさんでも、そこそこいいもの作れる時代になりました。

嬉しいことですね。

ここまで読んでいただきありがとうございました。
今回のnoteはこれで以上になります。

私と同じように、仕事も家庭もあって、それでも副業を続けたいと思っている方に少しでも届けばうれしいです。

ではまた、次回のnoteで。

よければ “スキ” や “フォロー” もらえるとうれしいです。

お願いします🙇‍♂️

過去のnoteもよければご覧ください。