InfiniteTalkでリップシンク、EasyWan22で動き。自宅PCで15分41秒の映画を作ってみた

📌 この記事でわかること
・リップシンク218本の台本を20本まで絞った方法
・深夜0時に予約した夜間バッチで、1本も生成されなかった理由
・2本ずつ始めて、電源断も挟みながらリップシンク20本をそろえた実績
・EasyWan22で人物が動くカットを足し、場面転換を編集でつないだ工夫
・完成した15分41秒の映画版の仕様

はじめに

前回の記事では、海外製の物語動画の見積もりが予想の15倍だったので、自宅PCとInfiniteTalkで物語動画を作り始めた話を書きました。

今回はその続きです。

制作中だった『花の向こうで、待っている』の続々編「二人で選ぶ、なんでもない日」を、15分41秒の映画版として仕上げました。

莉奈をエリカ、悠人をケニーが演じる、二人が初めて一緒に休日を過ごす物語です。駅前での待ち合わせから、買い物、昼食、帰り道までを描いています。

今回もいつものように、note記事を入力ソースにして動画を作りながら、次回から時短できるようにアプリも並行して作る、というやり方をしました。

入力ソースにしたのは、Kennyアカウントのこちらの記事です。

花の向こうで、待っている：続々編　二人で選ぶ、なんでもない日：動画付き

当初は、夜のうちに一気に作ってしまうつもりでした。

ところが実際は、予約した処理が動かなかったり、PCの電源が落ちたりと、思った以上に遠回りすることになりました。

🎀 Erica「寝てる間に全部できあがってる予定だったのに、朝起きたら0本だったのよ。そこから少しずつ積み上げて、最後はちゃんと映画になったんだけどね」

📝 第1章　台本のままでは、リップシンクが218本必要だった

🔹 会話を増やしたら、確認だけで大仕事に

使った環境は前回と同じです。Windows 11、RTX 4070 SUPER（VRAM 12GB）、メモリ32GBのPCで、音声はIrodori-TTS、セリフのリップシンクはInfiniteTalkで作っています。

最初の原稿は会話を多くしたので、リップシンクにするセリフが218本になりました。

試聴ボタンを押すと全件をまとめる処理が動き、約14分48秒もある確認用の音声ファイルができてしまいました。

生成する前の確認だけでもかなりの負担です。リップシンクの生成そのものも、約18〜20時間かかる見積もりでした。

🔹 セリフは「ここぞ」の場面だけに残す

そこで台本を書き直しました。

情景や気持ちの説明はナレーションに移し、相手を褒める、気遣う、気持ちを伝えるといった場面にだけセリフを残しています。

改稿後は第23景から第32景までの全10景で、リップシンクは20本になりました。

音声を修正したあとの読み上げ時間は約15分22秒で、ナレーションが約78％、セリフが約22％です。

🔹 音声でも手戻りがあった

音声にもやり直しが出ました。

30秒の上限に達したナレーションでは、最後の一文は読まれているのに、途中が大きく抜けていました。上限に達した7本を句点で区切って作り直しています。

前回の作品で聞こえた中国語のような余分な声は、調べた事例ではIrodori-TTSが作った元の音声ファイルに入っていました。

そこで今回は、セリフ20本をすべて試聴し、動画には確認済みの正式な音声を付け直しました。

📝 第2章　深夜0時の予約は動いたのに、生成は始まらなかった

🔹 試作2本から、残りは約10時間と見積もった

まず、約10秒のセリフ2本を第23景で試しました。

莉奈は50分34秒、悠人は18分06秒かかりました。フレーム数は近いのに、時間には大きな差があります。

この2本の平均から、残り18本は約10時間と見積もり、Windowsのタスクスケジューラで午前0時に1回だけ実行する予約を入れました。

🔹 起動はしたけれど、生成は0本

最初の事前チェックでは、発話用の画像18枚と、このプロジェクト専用の設定の承認記録が足りませんでした。

素材と設定をそろえて登録し直し、予約したタスク自体は午前0時にきちんと起動しました。

ところが、「別のGPU処理が動いている可能性がある」と判定され、生成された動画は0本でした。

🔹 原因は、GPUの競合判定が広すぎたこと

調べてみると、ほかのGPU処理を見分ける判定が広すぎました。

Codexの作業フォルダーのパスに含まれる「InfiniteTalk」や、起動用プログラム自身のPython環境のパスに含まれる「WanGP」という文字にまで反応していたのです。ブラウザーなど、画面の描画に関わるプロセスも候補に入っていました。

当時、本当に別の推論が動いていたかどうかは、ログからは判断できませんでした。

そこで、名前が一致するだけで止める判定をやめ、実行中のジョブ、バッチのロック、空いているVRAMの量を確認する方式に改めました。

📝 第3章　2本ずつ始めて、電源断を挟みながら全20本を作った

🔹 まずは2本だけ回す

夜間の一括処理はいったんやめて、まず第24景の2本だけを回しました。

ここでも、生成が始まる前に止まりました。原因は、Tritonのキャッシュの権限エラーと、日本語を含むパスの文字コードの問題です。

キャッシュの保存先を英数字だけの専用パスに変えてからは、2本とも最後まで生成できました。

🔹 猫がPCの電源を抜いたらしい

第27景と第28景の4本をまとめて回したときは、1本目が始まった直後に止まってしまいました。

どうやら、うちの猫がPCの電源を抜いたようです。

完成した動画はなく、ログには「実行中」の記録と、古いロックが残っていました。

再起動したあと、生成プロセスが残っていないことを確かめ、古いロックを別の場所に移してから1本目からやり直しました。

その後、最後の8本はまとめて生成できました。

🔹 成功した20本の生成時間は約6時間10分

実際にかかった生成時間は次のとおりです。

・第23景の試作：2本で約1時間8分40秒
・第24〜26景：6本で、1景あたり約31〜38分（バッチ全体の時間）
・第27〜28景の再実行：4本で約1時間7分31秒（バッチ全体の時間）
・第29〜32景：8本で約2時間9分50秒（生成時間の合計）

成功した20本の生成時間だけを足すと、約6時間10分です。

試作から見積もった「残り18本で約10時間」は、あくまで予想でした。実際の生成時間は、それより短くなっています。

ただし、画像の準備、試聴、エラーの調査、電源断からの復旧、編集の時間は、この約6時間10分とは別にかかっています。

📝 第4章　EasyWan22で人物が動くカットを足し、編集で景をつないだ

🔹 そのままつなぐと、場面がパッと切り替わる

リップシンクの素材がそろっても、そのままつなぐと場面が一瞬で切り替わってしまいます。

そこで、第28景の洋食店から第29景の商店街へ移る部分を先に試作しました。

景の境目に約0.5秒の横スライドを入れ、次の景では商店街の静止画に約2秒かけてゆっくり寄るようにしました。商店街に合う動画素材がなかったので、この寄りは静止画の編集で作っています。

🔹 試作を基準に、全10景を組み立てる

この試作を基準にして、全10景を組み立てました。

場所が変わるところでは横スライドを使い、同じ洋食店が続く第27景から第28景は、短いディゾルブでつないでいます。

ナレーションの要所には、寄り、引き、横パンを入れました。動きが終わったときの画角をそのまま保ち、画面が急に元に戻らないようにしています。

🔹 人物そのものが動くカットはEasyWan22で

カメラの動きとは別に、人物そのものが動く短い素材は、途中から加えたEasyWan22で作りました。

駅前で莉奈が悠人へ2〜3歩近づく約2秒のカットは、生成に約2分38秒かかりました。

二人が手をつないで駅へ向かう、約3秒の歩き去りの素材も、約4分55秒かけて試作しました。

🔹 動かすか、静止画で見せるか

一方で、書店で二冊の本を並べる手元や、悠人が莉奈に絆創膏を渡す手元は、短く差し込むだけで十分に意味が伝わりました。

ラストは、向かい合う、駅の方を向く、手をつなぐ、歩き去る後ろ姿、という順番を大切にしました。

歩き去りの動画素材は試作しましたが、最終確認では、静止画で見せる仕上がりのほうを採用しています。

何でも動かせばよいわけではなく、どこを動かし、どこを静止画で見せるかを選ぶことが大切だと感じました。

📝 第5章　15分41秒の映画版に仕上げた

🔹 完成版の仕様

冒頭に9秒のタイトルとあらすじを入れ、最後には余韻と配役の表示を入れました。

全景の長さを確定してから、固定した原稿に沿って、セリフとナレーションの両方に字幕を付けています。

・完成した長さは15分41.08秒
・832×464、25fps、H.264＋AAC
・リップシンク20本はすべて再利用
・字幕は245個。白文字に黒縁、画面の下中央、最大2行
・字幕なしのMP4、字幕入りのMP4、編集用のSRTを保存
・字幕なし版、字幕入り版とも、全編のデコードに成功

BGMを入れた最終版は、YouTubeで公開しています。

🔹 BGMで映画らしく

BGMは、アニメ動画作成アプリの長尺版で使っていたKyaaiさんの「ensolarado」を選びました。

冒頭とラストに薄く流して、物語の始まりと余韻を演出しています。

🔹 素材がそろえば、組み立ては約74秒

今回いちばん時間がかかったのは、リップシンクの素材をそろえる工程でした。

一方で、素材がそろったあと、動きを入れた通し版の組み立てにかかったのは約74秒です。

リップシンクをカット単位で保存していたので、試作を見ながら場面転換やラストを変えても、20本を作り直さずに済みました。

しばらくは、素材の管理や処理はアプリに任せ、どのカットをどうつなぐかはCodexと会話しながら決めていくつもりです。

おわりに

夜のうちに一気に作るはずが、予約は空振りし、エラーで止まり、最後は猫に電源を抜かれました。

それでも2本ずつ素材を積み上げ、最後は編集とBGMで、15分41秒の映画にまとめることができました。

1本のリップシンクに何十分もかかるからこそ、台本の段階でリップシンクの場面を選び、カットごとに保存して、編集で何度でも組み直せる形にしておくことが大事だとわかりました。

莉奈と悠人の休日を、ぜひ映画版で見てみてください。

🎀 Erica「猫に電源を抜かれても、カットごとに保存してあったから立ち直れたのよね。BGMも入って、やっと映画らしくなったわ。見てくれたら、感想も聞かせてね」

最後までお読みくださり、ありがとうございます！
私は京都生まれ大阪育ちなので、記事では結構ボケているつもりです。お好きな記事のコメント欄にツッコミ、お待ちしています😊