Higgsfieldの映画祭に出品してみた

株式会社WEBBの木村です。
今回は生成AIを集約したプラットフォームであるHiggsfieldの映画祭に参加して、全編フルAI映画を出品してみました。

まず、映画祭についてですが、この映画祭はなんと優勝賞金が50万ドルまで出ます。日本円にしたら7000万円以上です。これはかなり大きいです。出さない選択肢はないので、すぐに参戦しました。

今回作った映画はこちら

コンセプトについて

今回のコンセプトは90年代のクライムロードムービーです。
まず参考にした作品は押井守の「ケルベロス 地獄の番犬」、三池崇史の黒社会三部作、黒澤清の復讐二部作、GONINなどです。
これらは90年代を代表する邦画として自分としてはかなり好きな作品です。

このコンセプトを選んだ理由としては、単純に他にこういった作品をフルAIで作っている人がいなかったからです。最近の映画やハリウッド大作、Netflixオリジナルの様な作品が大量にある中で、映画祭で目にとまる作品を作る為には他と違うことをしなくてはいけないと思い、自分の好きなジャンルで勝負することに決めました。

脚本

通常の映画制作と同様に脚本を書きました。
なんとなく頭の中には構成や欲しいカットなどはあったので、それらをベースにしています。

今回は弊社で関わりのあるVFXオジサンのナヴィドが作ったKATANA Scriptの試作版を使用しました。

こちら、かなり使いやすいのでオススメです。

一番やりたかったカット

この水族館カットは絶対にエモいと思ったので、このエモを作品のサビに持っていく為に前半に緊張感のあるシーンを持ってきています。

40シーンを超えたあたりで、本当にこのシーン数を作り切れるか不安でしたが、まぁなんとかなるだろうの精神でそのまま生成に入りました。

生成に入る前に

生成をする前に必ずやる事があります。
まず、登場人物、各シーンの衣装、小道具、ロケーション、天気、時間、アクションの有無など、生成に関わる情報を全て洗い出し、表にまとめます。
これをしないとAIでなくても映像の整合性が失われてしまいます。

これはAIに限らず、実写映像でも同様の作業が発生します。

いざアセット生成！

やっと生成に入れますが、最初から映像を生成するわけではありません。
まずはキャラクターを画像で生成します。

こちらの作り方はHiggsfield公式や、わかりやすいチュートリアルがあるのでそちらを参考にしています。
個人的にわかりやすかった動画↓

次に使用する小道具です。

最近はかなり精度高く生成してくれます。
そして最後にロケーションです。

かなりそれっぽいものが出力されてますね。

ここでアセットの生成が終わりましたが、まだ終わりではありません。
小道具や人物、ロケーションなど生成したものは、よく見ると破綻しているものがあります。それらを全てPhotoshopなどを使用して修正していきます。

同じロケーションの別角度からのショットなので、整合性が取れるように無駄な物を消していきます。
時間が許す限り、全てのロケーションでチェックをして修正しています。

映像生成の前に

映像を生成する前にもう一つ下準備があります。
プロジェクトを管理するためのフォルダ作りです。
これはHiggsfield上でも、コンピュータ上でも必須です。
これをやらないと事故ります。

これをやらないと後からの修正や自分以外の人間にデータを渡す場合に混乱して無駄な時間を使ってしまいますので必須の作業です。

こちらの記事がわかりやすいのでオススメです。

プリビズ作成

次はプリビズです。
Seedance 2.0の頃からあったと思いますが、プリビズを作ることによって生成ガチャの失敗する確率を下げることができます。
今回はBlenderで簡単なプリビズを作成しました。

プリビズ↑

Seedance 2.5による生成↑

プリビズによって予め作りたいシーンの動きがわかりやすくなるので、人間とAI、どちらにとっても大事なものになります。

いよいよ映像の生成！

とにかく長いプロンプトを書きますが、こちらはHiggsfield公式の出しているチュートリアルを参考にしています。

Seedanceはとにかくクレジット費が高いので、人が映らないカットはなるべくKling 3.0を使用しています。

今まではi2vで映像を作っていたのですが、Seedance 2以降は実写の撮影のようにロケーションがあって、役者がいて、その上でアングルを切るというフローで生成ができるので、実写畑の自分からするとかなり作りやすいです。今回プリビズも使用していますが、実写撮影と同じ要領でアングルを指定すればプロンプトだけで良いカットを作れたりもします。

音声について

今回の映画祭は、開始当初音声についての規定が少なく、人間の声や人間が作った音を使用して良いというものだったのですが、どこかのタイミングで音声も全てAI生成されたものしか使えないように変更されていたため、急遽脚本にあったセリフを消すことになりました。
というのも、SeedanceやElevenLabsの日本語の精度がかなり低く、自分が求めるニュアンスが表現しづらかったからです。
本当はプロの役者さんを呼んで、同録のような音質を作ろうと意気込んでいただけにとても残念でした。音楽も、弊社のメンバーであり、バイオリニストである矢崎麦に頼む予定だったので、音に関しては色々と悔しい気持ちがあります。

編集

生成が終わり、いよいよ編集に入ります。
仮編集は生成しながらなんとなく進めていたので、音楽や映像のリズムから微調整をしていきます。
今回はあえてワンカットあたりの時間を長めに生成しているので、編集の自由度が高かったと思います。

Seedanceのコマ落ち問題は可能な限り修正しました。一部どうしても直らなかったカットが二つありましたが、他は全て無理やりAfter Effectsで直しています。
その他にも明らかに色が違うカットや、繋がりが怪しいカットはDaVinciやAEで修正を施しています。

以上のフローを経て、13分ほどの映画を約2週間ほどで作りました。

最後に

2年前、マビトを撮っていた時はまさか手元のラップトップ1台で映画を作れるとは思ってもいませんでした。いい時代になったのと同時に、競争も激しくなったと思います。