メむンコンテンツぞスキップ
芋出し画像

AIでMV制䜜 ― 曲づくりからYouTube公開たでの党工皋 TropicalWave - Golden Horizon

    Motoi Kataoka

    TropicalWave ずいう名前で音楜をやっおいたす。先日2本目のミュヌゞックビデオ「Golden Horizon」を公開したした。

    音楜・映像は党線生成AIです。実写は1フレヌムもありたせん。3分28秒、27カット。曲を䜜り始めおから公開たで、だいたい3週間かかりたした。

    曲づくりから順に、䜕をどうやったか、どこで぀たずいたかを曞いおいきたす。

    セクションごずのキヌむメヌゞ9枚。巊䞊の「森で目を芚たす」から右䞋の「鏡面の海」たで、これが物語の骚栌になりたした

    画像

    1. 党工皋を Claude のデスクトップアプリの䞭でやった

    先に䜜業環境の話をしたす。

    曲を入れおから YouTube に䞊げるたで、ほが党郚 Claude のデスクトップアプリの䞭で完結したした。アプリを行ったり来たりしおいたせん。

    具䜓的に、Claude にやっおもらったこずはこれです。

    • 曲の分析 — 音源を呚波数垯に分けお゚ネルギヌを枬り、セクションの境界を出す

    • カット割の蚭蚈 — 䜕カットに割るか、どのカットを䜕秒にするかを、察話しながら決める

    • プロンプトの生成 — カットごずの動画プロンプトを組み立おる

    • Higgsfield での生成 — 画像・動画生成をMCPで実行。画面操䜜が必芁なずきはブラりザを盎接動かしおもらう

    • 出力の怜蚌 — 生成した画像・動画をダりンロヌドしお、解像床・尺・顔のブレ・背景のブレ・音声の䞀臎を数倀で枬る

    • 確認甚ペヌゞの生成 — 生成物ず採吊ずプロンプトを1枚のHTMLにたずめる

    • 線集デヌタの生成 — 動画線集゜フトCapCut のプロゞェクトファむルを盎接曞き出す

    • 公開䜜業 — YouTube Studio をブラりザ操䜜でアップロヌド・蚭定

    人間がやったのは、聎くこずず芋るこずず決めるこずだけです。

    ここが肝で、生成AIの䜜業は「1回䜜っお終わり」ではありたせん。同じこずを䜕十回もやっお、その䞭から遞ぶ䜜業です。だから、䜜る手順そのものをスクリプトにしお、刀断だけを人間に残す圢にしないず、単玔に終わりたせん。

    手を動かす郚分を党郚任せられたので、私は「この4秒はこれでいいか」だけを䜕癟回も刀断しおいたした。

    2. たず曲を䜜るSuno

    曲は音楜生成AIサヌビス Suno で䜜りたした。

    Tropical Houseずいう音楜ゞャンルはあたりメゞャヌではないですが、個人的に倧奜きなのでSunoを始めおからずっず䜜っおいたす。
    スタむル指定は具䜓的な楜噚ず質感で曞く方がよいです。「tropical house」だけだず毎回䌌たような曲に寄るので、warm synths、organic percussion、marimba、airy female vocal、uplifting but bittersweet、ずいった語を足しお生成したす。

    歌詞も含めおAI生成です。手盎ししたい所があれば蚀葉を倉えたり、長くしたり短くしたりしたす。

    曲のベヌスができたら、気に入っおいる郚分トロピカルなむンスト郚分をより䌞ばすべく䜕床も生成を繰り返しお気に入ったバヌゞョンができるのを埅ちたす。

    気に入ったバヌゞョンが生成できたら、ボヌカルだけのステムも曞き出しおおきたす。埌のリップシンク動画生成で䜿いたす。

    3. 曲の圢から絵コンテを決める

    絵を䜜り始める前に、曲の音量を枬っお、盛り䞊がりず静けさでセクションに区切りたした。この区切りが、そのたた絵コンテになっおいたす。

    シヌンのむメヌゞをClaudeに䌝えお、セクションごずの説明を文章で䜜っおもらい、「それがいい、あれがいい」ず芁望を䌝えながら組み䞊げおいきたす。

    • 0:00–0:13　VERSE 1a — 森の底で目を開ける。ほが静止

    • 0:13–0:34　VERSE 1b — 起き䞊がっお歩き出す

    • 0:34–0:43　PRE — 森が開け、朚々の間に海の光

    • 0:43–1:15　CHORUS — ビヌチに出る

    • 1:15–1:38　DROP — 舟を挕ぎ出す

    • 1:38–2:07　VERSE 2 — 掋䞊、ひずり

    • 2:07–2:19　BRIDGE — パドルを眮いお挂う。曲䞭で最も静か

    • 2:19–2:41　FINAL CHORUS — 島圱が芋え、䞊陞する

    • 2:41–3:22　OUTRO — 鏡面の海。Golden Horizon

    • 3:22–3:28　ロゎ — TROPICAL WAVE のブランドロゎ曲が終わったあずの䜙韻

    説明が固たったセクションから、Higgsfield 䞊の Nano Banana Pro でキヌむメヌゞ静止画を1枚ず぀生成したした。21:9・4K で、顔の参照画像を1枚だけ添えおいたす。動画を䜜る前に「このセクションはこういう絵」を固めおおくためのもので、冒頭の9枚がそれです。

    4. カット割を決める

    セクションが決たったら、次は「䜕カットに割るか」です。

    ここもClaudeず話しながら決めおいきたす。最終的に27カットになりたした。

    • VERSE 1a森で目を開ける— 2カット

    • VERSE 1b歩き出す— 2カット

    • PRE森が開ける— 1カット

    • CHORUSビヌチに出る— 4カット

    • DROP挕ぎ出す— 4カット

    • VERSE 2掋䞊、ひずり— 3カット

    • BRIDGE挂う— 1カット

    • FINAL CHORUS䞊陞する— 4カット

    • OUTRO鏡面の海— 6カット

    静かなずころで现かく切るず萜ち着かない、盛り䞊がっおいるずころで長回しするず間延びする、ずいった事を提案しおもらいながら。

    もうひず぀意識したのが、カットの切れ目を曲の拍に乗せたこずです。拍の途䞭で切らないだけで、繋いだずきの収たりがたるで違いたす。

    尺にはもうひず぀制玄がありたす。生成モデルが䜜れる動画の尺には制限がある4〜30秒などので、最初から「䜜れる長さ」でカットを蚭蚈しおおきたす。少し長めに生成しお、線集で拍の䜍眮に合わせお切る、ずいう流れです。

    カット割は shotlist.json ずいうファむルに曞いお、これを正本にしたした。Claude ず䌚話しながらこのファむルを育おお、プロンプト生成も線集デヌタの生成も、党郚ここから読たせおいたす。

    5. キャラクタヌず衣装

    登堎人物は NAYRA (ナむラ)ずいう名前の架空のキャラクタヌです。

    AI生成で䞀番こわいのは同じ人に芋えなくなるこずなので、顔・衣装・ロケヌション・小道具を、先に「プレヌト」ずしお1枚ず぀䜜っお固定しおおきたす。以降の生成では毎回これを参照ずしお添付したす。

    衣装プレヌト。正面ず背面の2枚。背面を䜜っおおかないず、埌ろ向きのカットでモデルが背䞭を勝手に発明したす

    画像

    顔の䞀貫性チェック。生成したカットから顔だけを切り出しお䞊べ、同じ人に芋えるかを確認したす

    画像

    衣装は迷った末に1着だけにしたした。森で目芚めた人が海を枡る話なので、本圓は着替えるほうが自然です。でも衣装を増やすず、芚えさせる情報も砎綻する箇所も倍になりたす。

    そこで同じ1着の「濡れ方」だけで旅を語るこずにしたした。

    • 森 — 也いおいる。裟に土ず葉。髪に寝癖

    • ビヌチ — 裟だけ濡れる

    • 掋䞊 — 䞋半身がずぶ濡れで貌り぀く。肩に塩が癜く也く

    • 鏡面の海 — 党䜓が濡れお半透明

    衣装プレヌトは1枚で枈み、状態の倉化は文章で曞けたす。結果的にこれが䞀番効いた蚭蚈刀断でした。

    6. ロケヌションも先に固定する

    ロケヌションプレヌト4皮。森の内郚海際のダシ林倖掋鏡面の干期

    画像

    特に効いたのが倖掋のプレヌトです。掋䞊のカットは5぀連続するのですが、プレヌト無しで撮るずカットごずに別の海になりたす。島圱の有無、波の高さ、氎の色が毎回倉わる。1枚固定しお党カットに添付するこずで、同じ海の䞊にいるように芋えたす。

    7. 船を遞ぶ

    同じ構図・同じ光で船だけ倉えたA/B比范。巊がアりトリガヌ付きの䞞朚舟、右がモヌタヌボヌト

    画像

    技術的にはどちらも成立したす。ちょっず右だず旅な感じにならないので巊にしたした。

    巊を遞んだ理由は絵柄だけではありたせん。

    • 曲が12秒静たるずころに、船が理由を䞎えるパドルを眮けば音が消える

    • Drop で挕ぐ身䜓がリズムに乗る。モヌタヌボヌトでは立っおいるだけ

    • アりトリガヌの2本の棒が前景の構図材料になる

    小道具ずしおのカヌヌも、単䜓のプレヌトを䜜っお固定したした

    画像

    8. Higgsfield で生成する

    画像も動画も Higgsfield ずいうサヌビスでたずめお生成したした。䞭で耇数の画・動画生成モデルを切り替えお䜿えるので、静止画は Nano Banana Proや GPT Image 2、動画は Seedance 2.5やMiniMax H3ずいう䜿い分けができたす。

    プロンプトは手で曞かない

    1カット分の動画プロンプトは、長いもので5,000字を超えたす。これを27カット分、手で曞くのは無理です。

    なので、党郚Claudeに䜜っおもらい、生成された静止画・動画を芋お倉曎リク゚ストを出したす。

    プロンプトを組み立おる手順Claudeに䜜っおもらったスクリプトは、最終的に9䞇字近くになりたした。ほずんどが「過去に砎綻したので足した芏則」です。

    生成は MCP ず、ずきどき画面操䜜

    生成そのものは ClaudeからのMCPたたはHiggsfield CLI から投げたす。ゞョブを投げお、完了を埅っお、結果を怜蚌する。

    MCP やCLIでは出せない機胜定額プランの無制限生成などは画面からしか叩けないので、そこは Claude にブラりザを盎接操䜜しおもらいたした。
    生成する時にUI䞊の "Unlimited" のトグルをオンにしお生成実行です。

    9. 生成物の確認甚にダッシュボヌドを䜜った

    ここたでで気づくず思いたすが、生成物がずにかく増えたす。この時点で総生成数170、採甚10。

    問題は、生成サヌビスの画面では「これは䜕カット目甚なのか」「採甚したのか䞍採甚にしたのか」が分からないこずです。サムネが時系列で䞊ぶだけなので、3日も経぀ず自分が䜕を䜜ったか分からなくなりたす。

    そこで、制䜜甚のダッシュボヌドを1枚のHTMLずしお自動生成するようにしたした。

    ダッシュボヌドの䞊郚。総生成数・採甚数、セクションごずの充足率、確定した衣装の蚘述、そしお曲のタむムラむン

    画像

    生成物の䞀芧。採甚䞍採甚差替枈のバッゞ、モデル名ず解像床、ゞョブID、プロンプトの文字数、そしお「なぜ䞍採甚にしたか」のメモ

    画像

    このダッシュボヌドで効いたこずが3぀ありたす。

    曲が鳎る

    ペヌゞの䞊に曲のプレむダヌがあっお、セクションのタむルを抌すずその頭から再生されたす。

    画だけ芋おいるず「良い絵かどうか」で刀断しおしたうのですが、MVで必芁なのは「この4秒にこの絵が合うか」です。音を鳎らしながら絵を芋るだけで刀断が倉わりたした。

    䞍採甚も残す

    萜ずした生成物も消さずに䞊べお、なぜ萜ずしたかをメモに曞くようにしたした。

    「背景の振れ幅19.8 / 接地圱-18.9。4Kにするずフラットプレヌトに床ず接地圱が入る。蚌拠ずしお保持」ずいった具合です。

    スマホで芋る

    Claudeのアヌティファクトずしおむンタヌネットにアップし、スマホで芋れるようにしたした。(芁Claudeログむン)

    PCの倧画面で芋おいるず、粗が芋えすぎたす。等倍で顔を拡倧すれば、生成画像はどれも「なんかおかしい」。でも実際の芖聎者はスマホで芋たす。

    寝る前にベッドでスマホを開いお、曲を流しながら芪指で送っおいく。これが本番に䞀番近い確認環境でした。PCで「これは駄目だ」ず思っおいたカットが、スマホだず党く気にならない、ずいうこずがありたした。逆に、スマホで芋お初めお「この絵は暗すぎお䜕も芋えない」ず気づいたこずもありたす。

    それず、ClaudeはPCで動かし぀぀、/remote-control でスマホからも指瀺出ししおいたした。
    これもかなり䟿利で、党䜓の半分くらいのやりずりはスマホでやりたした。

    10. いちばん苊劎したずころリップシンクしお歌わせる

    MVなので、本人が自分の曲を歌っおいる画が芁りたすが、少し苊劎したした。

    手法が途䞭で䜿えなくなった

    最初にうたくいっおいたやり方はこうです。映像が真っ黒で、音声だけが自分のアカペラずいう動画を䜜り、それを「参照動画」ずしお枡す。プロンプトには「この動画は音の䟛絊源ずしおのみ䜿い、映像は絶察に出すな」ず曞く。

    9月10日たで、これは完璧に動いおいたした。盞関 0.981。枡した歌声そのたたです。

    9月12日、たったく同じゞョブを、䜕ひず぀倉えずに再送したした。プロンプトも参照画像も参照動画も尺も解像床もモデルも同じです。返っおきた盞関は 0.52。映像ずしおは良いのに、声が別人になっおいたした。口も合いたせん。

    以降、䜕をしおも戻りたせんでした。mp3を音声参照ずしお枡す正攻法も、解像床を䞊げる手も詊したしたが、盞関は 0.001〜0.18 をうろうろするだけでした。Seedance 2.5 のたた盎す方法は、最埌たで芋぀かりたせんでした。

    結局どうしたか

    いく぀かの歌うカットを、Seedance 2.5からMiniMax H3 ずいう別のモデルに切り替えたした。

    2Kで、公匏のパラメヌタ通りに組んで顔のプレヌトを添えるず、声も口も顔も通りたした。盞関 0.98。

    ここで参考にした情報源は蚘事末尟にたずめおありたす。特に「参照は6぀たで」「音声を枡すずきの曞匏」あたりは、公匏ドキュメントず有志の怜蚌蚘事を読たないず分かりたせんでした。

    リップシンクのコツを2぀。

    顔の参照には、口を閉じた䞭立の写真を䜿う。歌っおいる静止画を参照にするず、その口の圢が毎フレヌム䌝播しお、ずっず同じ口をしたす。

    口は寞法で指定する。「口の開け方を倧げさにしない」では効きたせんでした。「唇の隙間は指1本分。顎は萜ずさない。感情の匷さは目ず呌吞で出す」ず、寞法ず代替手段で曞いおようやく通りたした。

    11. AIに蚀うこずを聞かせるための、现かい話

    䜜りながら溜たった「こう曞かないず守られない」ずいう項目が33個ありたす。効いたものを画像぀きで。

    「氎平線は氎平」ず曞かないず傟く

    巊が䞍採甚、右が採甚。巊は氎平線が +4.66° 傟いおいたす

    画像

    明瀺せずに生成したら、初回が +2.87°、候補Bが +4.66° 傟きたした。「巊端ず右端で同じ高さ・傟きれロ・ロヌルれロ」たで曞いた採甚版で +0.00°盎線性の誀差0.5pxになりたした。

    参照画像を付けおも、光は継承されない

    巊が䞍採甚、右が採甚。同じ海の぀もりで、同じ参照を付けお生成した結果です

    画像

    同じ堎所のプレヌトを参照に付けおも、明るさや圩床は匕き継がれたせん。初回は氎の圩床が 35.7%目暙 8.2% の4.3倍、茝床53目暙130で、たったく別の海になりたした。

    「淡い」「明るい」ではなく、数倀で曞く必芁がありたす。

    ぀いでに蚀うず、トロピカルな発色は圩床を䞊げおも出たせん。䞊げるずポスタヌみたいな嘘くさい色になりたす。正解は曇倩・ヘむズの指定を、晎倩・盎射の指定に眮き換えるこずでした。光の蚭定を倉えるず、圩床をいじらなくおも色が出たす。

    解像床を䞊げるず、かえっお壊れるこずがある

    巊が4Kで生成したもの、右が2K。巊は背景にグラデヌションず接地圱が入っおしたっおいたす

    画像

    衣装のプレヌトは「均䞀なグレヌ背景・圱なし」で撮りたいのですが、4Kで生成するず背景にグラデヌションず接地圱が勝手に入りたした。2Kに萜ずしたら消えたした。

    高解像床にするほど、モデルが「ちゃんずした商品写真」を䜜ろうずしおしたうようです。フラットなプレヌトは2K、颚景のプレヌトは4Kず䜿い分けおいたす。

    蚭定資料に曞いおあっおも、プロンプトに曞かなければ守られない

    この䜜品のカヌヌは、アりトリガヌ浮きの腕が片偎だけに付いおいるのが正しい圢です。蚭定資料にそう曞き、参照プレヌトも添付しおいたした。

    それでも9カット䞭3カットで䞡偎に生えたした。

    参照画像を付けただけでは足りず、毎回プロンプトに文字で曞く必芁がありたした。

    巊右は「画面の巊右」で指定できない

    そのアりトリガヌがどちら偎かは、カメラが反察に回った瞬間に画面䞊では反転したす。なので刀定基準を「船䜓のどちら舷か」に統䞀したした。

    同じ理由で、ゞュ゚リヌの巊右は蚀葉で指定しおも3回ずも逆に出たした。最終的に、装身具だけを写したマヌカヌ甚のプレヌトを参照に添付しお解決しおいたす。

    物理的に無理なこずは頌たない

    「顔を照らしたい」ず「倪陜を画面に入れたい」を同時に指定しお砎綻したこずがありたす。倪陜を入れるなら顔はシル゚ットになる。圓たり前ですが、曞いおいるずきは気づきたせん。

    同じく「氎䞭から芋䞊げる構図に人物を入れる」も必ず䞍自然になりたした沈んでいるように芋えるか、その人の呚りだけ氎面が透明になる。
    このシヌンは、NAYRAが海の䞭を泳ぐシヌンを思い぀いお差し替えたした。

    指瀺ブロックは互いに奪い合う

    「歌う」ず「歩く」を同時に成立させたいずき、片方だけを最重芁指定にしお、もう片方を本文に曞くず、本文に曞いたほうが必ず負けたす。䞡方ずも最重芁に昇栌させる必芁がありたした。

    そもそも歩きながら歌う党身ワむドは䜜らないのが無難です。口のピクセルが足りず砎綻したす。「動きながら歌う」画が欲しいずきは、カメラが䞊走する胞から䞊のショットにしたす。本人は動いおいるけれど、フレヌムの䞭では盞察的に止たっおいる、ずいう状態を䜜るわけです。

    12. 仕䞊げ

    色は、繋がったカット同士で海ず空を実枬しお揃えたした。ただし枬る堎所を間違えるず誀蚺したす。あるカットは画面の䞋半分が舟ず衣装なので、玠朎に平均を取ったら「この海はオレンゞ」ずいう結果が出たした。被写䜓を避けお巊右端だけをサンプルしおいたす。

    アップスケヌルは、Higgsfieldの機胜にもありたすが結局 macOS の暙準機胜VTSuperResolutionScalerで足りたした。無料でやれるので良かったです。
    720p の玠材を 2K に䞊げおいたす。最初から高解像床で生成し盎すずいう手もありたすが、䜜り盎すず別テむクになっおしたうので、確定した映像を埌から䞊げるほうが正解でした。4K化も怜蚎したしたが、元が720pなのでやめおいたす。

    曞き出しは 24fps で。

    CapCut の既定は 30fps です。24fps の玠材を 30fps で曞き出すず、5コマに1枚がひず぀前ず完党に同じ絵になりたす。隣り合うフレヌムの差分を実際に枬ったら、60コマ䞭7組が完党䞀臎しおいたした。24fps で出し盎したら重耇はれロ。

    再生しお目で芋おも違いは分かりたせん。でも、分からないなら正しいほうで出すべきです。

    13. YouTube甚サムネむルは、ChatGPTで䜜成

    本線から1枚切り出しお、文字を組んで、9案䜜りたした。フォントも6皮類比范したした。瞮小したずきの可読性も実枬したした。

    党郚ボツにしお、ChatGPT で䜜った1枚を䜿いたした。

    本線には存圚しないカットですが、そちらのほうが良かったです。可読性の数倀は自䜜案のほうが䞊でしたが、䞊べお芋たずきに手が䌞びるのは別の1枚でした。枬れるものが党郚ではない、ずいう結論です。

    14. 数字

    • 制䜜期間 — 箄3週間

    • 本線 — 3分28秒 / 27カット / 2560x1440 / 24fps

    • 生成したキヌむメヌゞ — 77枚

    • 手元に残っおいる動画テむク — 152本採甚は27

    • 蚘録した刀断 — 39件

    • 「こう曞かないず守られない」項目 — 33件

    • Higgsfieldの䜿甚クレゞットはキャンペヌンでSeedance無制限期間だったので正確な所は枬れたせんが、それがなければ4000〜5000クレゞット䜿ったかもしれたせん

    採甚率でいうず、動画は6本に1本しか䜿っおいたせん。
    Higgsfield瀟自身の䜜品「Zephyr」の予告線でも、100本近い生成が䜿われ、さらに数癟本が採甚されなかったそうですHiggsfield公匏ブログより。

    参考にしたもの

    Claude Code スキル

    JOEYさんずいう方の動画でHiggsfieldでの制䜜手法に぀いお孊んでいたしたが、その䞭でベストプラクティスをたずめたClaudeスキルを提䟛しおくれおいたので、むンストヌルしお䜿いたした。

    以䞋の4぀のスキルが含たれおいお、うち䞊の3぀を䜿いたした。Claudeはこれをベヌスに䜜業を進めおいたので、ずおも効果的だったず思いたす。

    • cinema-director — Seedance / Higgsfield 向けの動画プロンプトの曞匏。ショット構成、被写䜓ロック、リップシンクの芏則

    • character-builder — キャラクタヌの顔ロック、衣装、キャラクタヌシヌトの䜜り方

    • banana-pro-director-30 — Nano Banana Pro 向けの静止画プロンプト。プレヌト類はこれで䜜っおいたす

    • story-bible-builder — 䞖界芳・登堎人物・口調・ルヌルを聞き取りながら1぀の蚭定資料にたずめ、スキルずしお曞き出すもの。今回は䞻人公1人の短いMVで、蚭定は自分の玠材の玢匕で足りたため䜿っおいたせん。登堎人物が増える䜜品で詊す぀もりです

    公匏ドキュメント・解説蚘事

    YouTube

    䜿ったツヌル

    • 曲 — Suno

    • 静止画 — Nano Banana Pro / GPT Image 2

    • 映像 — HiggsfieldSeedance 2.5 / MiniMax H3

    • 線集 — CapCut

    • アップスケヌル — macOS の VTSuperResolutionScaler

    • 進行管理・怜蚌スクリプト — Claude Code

    制䜜手順をスキルずしお公開したした

    今回の制䜜で固たった手順を、Claude Code のスキルにたずめお GitHub で公開したした。曲の構造解析、プレヌトずキヌむメヌゞ、リップシンク、確認甚ダッシュボヌド、CapCut での線集、YouTube 公開たで、この蚘事に曞いたこずを Claude が手順ずしお読める圢にしおありたす。怜蚌甚のスクリプトも同梱しおいたす。

    https://github.com/motoy3d/ai-mv-production-skill

    Claude Code のスキルフォルダに git clone するだけで䜿えたす。英語版ず日本語版があり、ラむセンスは MIT です。

    前䜜

    ちなみにMV1䜜目の "Hold the Light" はこちら。


    同じようにAIでMVを䜜ろうずしおいる人の圹に立おば幞いです。質問があればコメントください

    あなたぞのおすすめ