【ULF式MV制作記】動画を一発生成しない。素材を育ててMVを作る新しい方法

AIを用いたMV制作の記事になります。

まずはこちらをご覧ください。

いかがでしょうか。

このMV、実はローカルの画像生成AIや動画生成AIを一切使わず、オンライン上のクラウドサービスだけで制作しています。

つまり、ハイスペックなGPUを積んだPCがなくても作れます。
しかも、思っていた以上にコストもかかりません。
オンラインAIサービスにあるMV制作ツールみたいなものは使っていません。

今回使った方法を、ひとまず私は、
「ULF式AIMV制作」
と呼ぶことにしています。

考え方はかなり単純で、短いモーション動画を大量に作り、その中から曲に合った素材をAIに選ばせ、一本のMVとして組み上げる。という制作方法です。

一つの長い動画を完璧に生成しようとするのではなく、「使える数秒」を大量に用意しておく。そして、その素材をAI編集でつないでいく。

今回の記事では、この方法で実際にMVを制作した流れを書いていきます。

ULF式については、ほかにもいくつか試していることがあるので、興味があればそちらも見ていただければと思います。

それでは本編です。

使用したツールとコスト

今回、主に使用したのはこちらです。

• ChatGPT（画像生成＆Codex）：約3,000円／月

• Google AI Pro（内、付随サービスのFlow）：約14,500円／年

• SUNO AI：約1,200円／月

もちろん契約内容や料金は時期によって変わる可能性がありますが、少なくとも今回の制作では、専用のハイスペックPCを新たに用意するようなコストは必要ありませんでした。

きっかけはCodexでの「歌詞表示」

AIツールをいろいろ触っている方なら、Codexを試したことがある人も多いと思います。そんな中で、個人的にかなり衝撃だったことがありました。

曲と歌詞を渡すと、音楽の流れに合わせて歌詞を表示する動画を作れる。
ということです。

これまで私は、「AIは画像や文章には強いけれど、音楽の時間軸を扱うのはまだ難しいのでは？」と思っていました。

ところが実際に試してみると、少なくとも「このあたりでこの歌詞が来る」という時間的な位置関係は、かなり扱えるようになってきています。
つまり、

SUNOで曲を作る。
歌詞を用意する。
ChatGPTでサムネイルや一枚絵を作る。
そしてCodexへ音楽・歌詞・画像を渡す。

これだけでも、かなりそれらしいリリックビデオを組み上げることができます。画像を複数用意しておけば、歌詞や曲の展開に合わせて絵を切り替えることもできます。

これにはかなり驚きました。

今までは動画編集ソフトを開いて、「ここからこの歌詞」「次はここ」と、一つずつタイムラインへ配置していました。

当然、こだわって作るなら今でも手作業のほうが細かく調整できます。

ただ、「まず一本作る」というところまでなら、その面倒な作業のかなりの部分をAIへ任せられるようになっています。

なんともすごい時代になりました。

そこで思ったこと

ここで、ひとつ思いつきました。

歌詞を曲のタイミングに合わせられるなら、動画も合わせられるのでは？

静止画ではなく、「歌っている」「歩いている」「横を向いている」「カメラが回り込んでいる」「紙吹雪が舞っている」といった数秒の動画素材を大量に用意しておいて、曲に合わせてAIに選ばせればいい。

要するに、AIにMVの編集者をやってもらう。そんな発想です。

実際にやってみることにしました。

動画素材の生成にはGoogle Flowを使用

モーション動画の生成にはGoogle Flowを使いました。

Google AI Proの契約内で利用できるクレジットがあるため、その範囲でもある程度の数の動画を生成できます。
ここで重要なのは、一本の完成動画をFlowに作らせようとしないこと。です。

作るのは、あくまで数秒単位の「素材」。カメラワークやポーズの違う動画を、ひたすらストックしていきます。

実際の制作手順

① モーション動画の「開始フレーム」を作る

まずCodexやChatGPTに相談しながら、「MVで使えそうなカメラアングル」「歌っている最中に使えそうな構図」を大量に考えます。

たとえば、正面からの寄り。横顔。ローアングル。俯瞰。ステージ袖からの撮影。背面から客席を映す構図。などです。
そこから、動画生成時のファーストフレームとなる画像を作ります。

優しいライブMV・ファーストフレーム画像生成プロンプト 30本

使い方
・この番号は gentle_live_motion_prompts_30.txt の動画番号と1対1で対応する。各画像を対応する動画の開始フレームに設定する。
・画像生成時は添付の歌手画像を参照として入力する。正面は画像1（17_13_54）、横顔は画像3（15_32_31）、顔の寄りは画像5（15_32_22）が特に有効。衣装や顔を変えないため、毎回同じ参照セットを使う。
・横16:9の静止画を生成。各「プロンプト」は単独で入力できる。これは動画の最初の一瞬を指定する画像なので、カメラの動きを静止画に描き込まない。
・どの画像も、アニメ調の同じ女性ソロ歌手、黒髪の低いツインテール、赤いリボン、鍵盤形の髪留め、白いTシャツ、紺のプリーツスカート、金色のハート鍵ペンダント、黒い手持ちマイク、紫と青の星空LEDライブステージを維持する。

01｜正面・腰上（動画はここから寄る）
プロンプト：参照画像と同一人物のアニメ調の女性ソロ歌手。黒髪の低いツインテール、赤いリボン、鍵盤形の髪留め、白いTシャツ、紺のプリーツスカート、金色のハート鍵ペンダント、黒い手持ちマイク。紫と青の星空LEDがあるライブステージ中央で、客席へ優しく歌いかける瞬間。正面、目線の高さ、腰から上が入る中距離構図。頭上と左右に少し余白。柔らかな微笑み、自然な指、鮮明な顔。横16:9の一枚絵。ほかの出演者、文字、ロゴなし。

02｜正面・顔寄り（動画はここから引く）
プロンプト：参照画像と同じアニメ調の女性ソロ歌手。低い黒髪ツインテール、赤いリボン、鍵盤形の髪留め、白いTシャツ、紺スカート、金色のハート鍵ペンダント、黒いマイクを維持。紫青の星空LEDライブステージで優しく歌う。正面、目線の高さの顔から肩までの寄り。両目、両方のリボン、マイクを画面内に収め、顔の輪郭は切らない。背景は柔らかくぼかす。横16:9の静止画、自然な手指。ほかの人物、文字、ロゴなし。

03｜横移動の開始・左側の正面寄り
プロンプト：添付参照画像と同一人物のアニメ調ソロ歌手。黒髪の低いツインテール、赤いリボン、鍵盤形の髪留め、白Tシャツ、紺のプリーツスカート、金色のハート鍵ペンダント、黒マイク。紫青の星空LEDステージ中央で優しく歌う。客席から見てやや左寄りに置いたカメラの、目線の高さの膝上ショット。歌手は中央付近、右側に背景LEDと奥行きの余白を残す。横16:9、柔らかな照明、単一の自然な姿勢。字幕、ロゴ、ほかの出演者なし。

04｜横移動の開始・右斜め前
プロンプト：参照画像の顔と衣装を一致させたアニメ調の女性ソロ歌手。低い黒髪ツインテール、赤いリボン、鍵盤形の髪留め、白いTシャツ、紺スカート、金色のハート鍵ペンダント、黒いマイク。紫青の星空LEDステージで優しく歌い、自由な手を小さく開いた瞬間。カメラは歌手の右斜め前、三分の四角度、目線の高さ、腰上構図。左方向へのカメラ移動に使える舞台の余白を左に残す。横16:9、文字とほかの人なし。

05｜左斜め前・弧を描く移動の開始
プロンプト：添付参照画像と同じアニメ調ソロ歌手。低い黒髪ツインテール、赤いリボン、鍵盤形の髪留め、白Tシャツ、紺のプリーツスカート、金色のハート鍵ペンダント、黒い手持ちマイク。紫青の星空LEDライブステージで、穏やかに客席へ歌う。カメラは左斜め前の胸上ショット、顔の正面と片側の輪郭がともに見える角度。視線は遠くの客席へ。背景のLEDに奥行きがあり、顔は明瞭。横16:9、ほかの出演者、字幕、ロゴなし。

② 動画生成用プロンプトを作る

次に、その画像から「カメラをどちらへ動かすか」「人物をどう動かすか」「照明をどう変化させるか」といったモーションを考えます。

ここもAIに相談します。

個人的には、人物を激しく動かすより、カメラ側を動かしたほうがMV素材として使いやすいと感じています。

優しい歌声のライブMV用・10秒モーション動画プロンプト 30本

Google Flowでの設定
・動画、横16:9、生成尺10秒を選択。10秒とIngredientsに対応するモデルを選ぶ。
・毎回、添付画像1（17_13_54）を人物・ステージの主参照としてIngredientsに登録。横顔を使う案では画像3（15_32_31）、顔の寄りでは画像5（15_32_22）も補助参照にする。画像は衣装と顔の一貫性を保つための参照であり、静止画の構図を固定する指定ではない。
・各番号の「プロンプト」から次の番号の直前までを単独で入力する。歌詞と曲は後で合わせるため、映像内に歌詞や字幕は入れない。
・全案の感情は「優しい」。同じ人物・衣装・マイク・ステージを維持し、各クリップは単一の連続ショットにする。実際の出力が10秒か、人物や手が崩れていないかは生成後に確認する。

01｜正面・ゆっくり寄る
プロンプト：添付参照画像と同じアニメ調のソロ歌手。黒髪の低いツインテールに赤いリボン、鍵盤形の髪留め、白いTシャツ、紺のプリーツスカート、金色のハート鍵ペンダント、黒い手持ちマイク。星のような紫と青のLED背景を持つライブステージで、客席へ優しく歌う。腰上の正面ショットから10秒かけて胸上までゆっくりドリーイン。柔らかな微笑みと自然な呼吸、静かな視線。ワンカット、動きは滑らか。ほかの出演者、字幕、ロゴ、急な画角変更なし。

02｜正面・ゆっくり引く
プロンプト：参照画像と同じ顔、黒髪の低いツインテール、赤いリボン、鍵盤形の髪留め、白いTシャツ、紺のプリーツスカート、金色のハート鍵ペンダントを保つアニメ調の女性ソロ歌手。黒いマイクで穏やかに歌い、片手を胸元にそっと置く。紫と青の星空LEDステージ。顔寄りから始め、10秒かけて全身とステージの余白が見える位置まで滑らかにドリーアウト。優しい表情を維持するワンカット。別人化、衣装変更、字幕、ロゴなし。

03｜左から右への横移動
プロンプト：添付画像と同一デザインのアニメ調ソロ歌手。黒髪の低いツインテール、赤いリボン、鍵盤形の髪留め、白いTシャツ、紺スカート、金色のハート鍵ペンダント、黒い手持ちマイク。紫と青のLEDが光るライブステージ中央で優しく歌い、体はほぼ動かさず軽く揺れる。カメラは客席側の中距離を左から右へ10秒間、一定速度で水平スライド。歌手を画面中央付近に保ち、背景の光の視差を見せる。ワンカット、字幕とほかの出演者なし。

04｜右から左への横移動
プロンプト：参照画像の同じアニメ調の歌手と衣装を維持。黒髪の低いツインテールと赤いリボン、鍵盤形の髪留め、白いTシャツ、紺のプリーツスカート、金色のハート鍵ペンダント。黒いマイクを持って穏やかに歌い、自由な手を小さく開く。紫と青の星空LEDライブステージ。カメラは右側の三分の四角度から左へ10秒間ゆっくり横移動し、最後は正面寄りになる。顔と手を安定して描く連続ワンカット。字幕、ロゴなし。

05｜左斜め前からの小さな弧
プロンプト：添付参照画像の歌手本人のアニメ調、黒髪の低いツインテール、赤いリボン、鍵盤形の髪留め、白Tシャツ、紺スカート、金色のハート鍵ペンダント、黒マイクを一致させる。紫と青の星空LEDステージで優しく歌い、歌詞に想いを込めるように一度だけ客席を見渡す。胸上の距離を保ちながらカメラが左斜め前から正面へ小さな弧を10秒かけて描く。自然なパララックス、穏やかな照明、ワンカット。字幕なし。

③ Flowでモーション動画を生成する

①で作った開始画像と、②で作ったモーション指示をFlowへ渡します。

ここで数秒の動画素材を生成します。

④ とにかく素材を増やす

あとはこれを繰り返します。正面。横顔。斜め。ローアングル。俯瞰。カメラ回り込み。ズーム。紙吹雪。照明演出。歩行。静かな歌唱。サビ向けの派手な演出。などなど…。

この工程では、「この動画をどこで使うのか」まで考えすぎない のもポイントです。とりあえず使えそうな素材を増やしておきます。

⑤ モーション素材をフォルダへ保存する

ある程度動画が増えてきたら、一つのフォルダへまとめます。

可能であれば、「正面ズーム」「左横顔トラッキング」「ローアングル」「紙吹雪」「サビ演出」というようなモーション自体の名前や、soft～～、active～～、のように曲調ごとにまとめたり、start～～、end～～、間奏～～のように、パートごとに使い分けるように指示したりと、内容が分かるファイル名にしておくと後々かなり便利です。

ここで作った素材は、一度きりではありません。
別の曲にも使えます。
これがULF式のかなり大きなポイントです。

⑥ MVにしたい曲と歌詞を用意する

次に、MV化したい楽曲を用意します。

私はSUNO AIで作った曲を使っています。
歌詞はテキストファイルへコピーして、楽曲ファイルとセットにしておきます。

⑦ Codexへ素材を渡してMV制作を依頼する

ここまでできたら、楽曲。歌詞。モーション素材。それぞれが保存されているフォルダのパスをCodexへ渡します。

そして、「この素材を使って、曲の展開に合わせたMVを制作して」と指示します。
以下の文章は、MV制作においての細かい指示例です。

最終目的：音楽と歌詞（任意で曲の起承転結）を渡し、解析をしてもらう。
解析時に、曲中のフレーズ（歌詞の区切りのいいところ）ごとに分離をして、歌詞の当てはめ、その時刻・間隔をまとめる。
１曲をすべてフレーズごとに分離しすべてまとめた後、そのフレーズに適したモーション動画を保管庫の中から選択し、当てはめていく。
モーション動画は１０秒であるため、必要であれば、トリミングを実行してフレーズの時刻間隔に合わせるようにする。
モーション動画の選択は自由であるが、中身の詳細については、テキストファイルを参照することでおおよそ予測できるようにしてある。
テキストファイル内の連番は、soft○○という形で対応をしている。
ここでいうsoftは表情が柔らかいやさしい歌の時のモーションであるため、sad○○、やhappy○○など、追加をしていく予定である。
softの他に、inter○○があるが、これは歌を歌わない間奏部分を想定しているモーション動画である。
また、start○○は開始、end○○は終了フレーズを想定している。
それぞれ状況に合わせたエフェクトの適用も許可する。
これらを踏まえて、モーション動画を編集しつなげていき、一本のMVを生成して下さい。

次のチャットで素材を添付します

あとはAIが素材を確認しながら、曲のタイミングに合わせて動画を配置していきます。

⑧ 完成

これで完成です。

ULF式MV制作の面白いところ

この方法の一番面白いところは、素材を増やすほど、MV制作環境そのものが強くなっていくことです。

最初は10本しかなかった動画素材も、20本。50本。100本。と増えていけば、AI側もその場面に合った映像を選びやすくなります。
結果として、同じモーションが何度も登場することも減っていきます。

さらに、素材と楽曲の世界観がある程度近ければ、一度作った動画素材を別の曲でも使えるというメリットがあります。
つまり毎回ゼロからMVを作る必要がありません。

「動画を制作する」というより、自分専用のMV素材ライブラリを育てていく。という感覚に近いです。

これはかなり面白い制作方法だと思っています。

もちろん弱点もある

現時点では、まだ課題もあります。

特に大きいのがリップシンクです。

今回の方法では、基本的に事前生成したモーション動画を曲へ当てているため、口の動きと歌詞を完全に一致させることはできません。

また、通常のステージ演出→紙吹雪→通常のステージ演出

と切り替わった場合など、カットをまたいだときの世界観や演出の連続性に違和感が出ることもあります。

このあたりは、素材の作り方や分類方法を工夫することで、まだかなり改善できそうです。

「生成する」から「素材を蓄積する」へ

今回のMVは、今流行りのMINIMAXなどで一本の動画として生成したものではありません。

数秒の動画を大量に作り、それをAIに選ばせ、組み合わせています。
なので、極端な話、高性能なGPUを積んだPCがなくてもできます。

そして個人的に面白いと思っているのが、動画生成AIの性能だけに頼るのではなく、「素材の数」で完成度を上げられるところです。

生成AIは毎回完璧な映像を出してくれるわけではありません。
だったら、完璧な一本を狙うのではなく、使える数秒を100本作ればいい。その中からAIに選ばせればいい。

これが、今のところ私が考えているULF式AIMV制作の基本思想です。

今後やってみたいこと

現在、以前進めていた「ULF式アバターモーション」は少し停滞しています。

その代わり、しばらくはULF式MV制作向けにFlowでモーション素材を増やし、「素材が増えるほどMVの完成度がどこまで上がるのか」を試してみたいと思っています。

そして最大の課題であるリップシンク。これも将来的に、
Movie to Movie（M2M）
のような処理で、完成後の映像から口の動きを補正できるようになれば面白いなと思っています。

もしそこまでできるようになれば、「自分の好きなキャラクターに、自分で作った曲を、本当に歌わせる」というところまでかなり近づきます。

最後に

AIで曲を作る。
AIでキャラクターを作る。
AIで動画素材を作る。
そしてAIにMVを編集してもらう。

少し前なら、それぞれ別の専門技術が必要だったことが、今では個人でもかなり遊べるようになってきました。

もちろん、まだ完璧ではありません。
でも、完璧ではないからこそ、工夫する余地があります。

自分だけのキャラクターをステージに立たせて、自分だけの曲を歌わせる。そんな「AI推し活」を楽しんでみるのも、なかなか面白いのではないでしょうか。

私も引き続き、素材を増やしながら試していきたいと思います。

ここまでお読みいただき、ありがとうございました。