振り向いても、別人にならない｜Kling AI 4.0でゲームのキャラを実写化して、AI動画の予告編を作った

自分のゲームのキャラを、実写の人にして動かしてみた。まずは、完成した63秒の予告編を見てほしい。

出てくるのは、私が作っているノベルゲーム「KOTAYAの共犯者」のキャラたち。アジトの管理人のこたや、ナナシ、元バーテンダーのじまにゃん、耳毛が本体のちんぱんなど、全部で6人だ。

この6人を実写にして、Kling AI 4.0 で動かした。

振り向いた瞬間に顔が変わって、カメラが回り込むと髪が伸びる。AIでキャラの動画を作ったことがある人なら、身に覚えがあると思う。

今回、それが起きなかった。
しかも、カメラはかなり動かしている。

振り向くたびに、別人になっていた

これまで、いくつかの動画AIでキャラを動かしてきた。そのたびに苦しめられてきたのが、顔が変わることだ。

後ろ姿から振り向く場面も、作れずにいた。

カメラが回り込んでも、顔が変わらない

最初のコマの写真は、実写化がいちばんうまかったMetaのAI「Muse」で作った。それを動かしたのは、すべて Kling AI 4.0 の「Keyframes」だ。

Museでも動画を作ってみたけど、動きはKling AI 4.0のほうが良かった。キャラごとに試したいことを1つずつ決めて、作っていった。

じまにゃん：水平に回り込む

元バーテンダーのじまにゃんには、バーでカクテルを作ってもらった。

カメラが水平に回り込んで背中側まで回るあいだに、シェイカーを振って、放り上げてキャッチして、注いで、こちらへ差し出す。これが1本の動画で通って、回り込んでもじまにゃんの顔と髪は変わらなかった。

ナナシから、バーへ

ナナシの場面から、じまにゃんのバーへつなぎたかったので、ここは最初と最後のコマを両方決めた。

すると、CDをかけたナナシの目線の先へカメラが振れて、そのまま奥のじまにゃんのバーにつながった。

こたや：速いコインを追う

こたやのコイントスは、Museでも同じ指示文で何度か作っていた。

ところが、スローがかかってコインを手の甲にそっと置いてしまう。「たたきつける」と書けばトントン当てる動きになるし、余った秒数は意味のない動きで埋めてくる。

それがKling AI 4.0では、はじいたコインをカメラが追いかけ、空中でつかんで、手の甲に伏せるところまで通った。

カメラがコインを追って上へ振れるあいだ、こたやは画面の外に出る。戻ってきても、こたやはこたやのままだった。

ちんぱんが、勝手に1回転した

ちんぱんのカットには、「得意げに、芝居がかった身ぶりで」と書いた。

すると、ちんぱんはくるっと1回転してから片膝をついた。回転しろとはひと言も書いていないし、同じ指示文でMuseは回転しなかった。

指示していない動きを足されるのが、いつも正解とは限らない。でもこれは、いい意味で裏切られた。

ちんぱんなら、たぶん回る。

後ろ姿から振り向いても、同じ人だった

予告編はKeyframesで作ったけど、「オムニリファレンス」も試した。

画像を最大10枚、人を最大7人まで、参照として渡せる機能だ。最初の絵とは別に人の写真を渡せるので、キャラシートを渡して、見た目をそろえたまま動画にできる。

これで、作れなかった場面に挑んだ。最初の絵は、夕日の浜で背を向けたちんぱんだ。

見た目は、正面・横顔・後ろ姿の3枚を「Elements」に登録して渡した。

ちんぱんは歩いて立ち止まり、右肩ごしに振り向いて照れ笑いし、カメラは背中側から回り込んで顔に寄っていく。

振り向くと、後ろ姿では見えなかった眼鏡も、ちゃんと出てきた。

リファレンスとして渡した写真の人が、そのまま振り向いてくれた。

……まぁ、これがちんぱん本人なのかは、正直わからない。でも、後ろ姿から振り向く場面が、やっと作れたのは確かだ。

水だけは、まだ苦手

良いところばかりではなくて、苦手なのは水だ。

ちんぱんの場面で試したかったのは、水しぶきと、水に濡れる表現だった。比べるために、波をかぶるこのカットを、同じ写真と同じ指示文でMuseにも作らせてみた。

Kling AI 4.0は、波をかぶるところまで、動きはしっかり作ってくれた。ただ、髪から垂れる水が糸のようになって、「腰まで濡れる」と書いたのにセーターは乾いたままだった。

……ずぶ濡れの予定だったんだけど。

Museは、水のしたたりと服の濡れ方がKling AI 4.0より自然だった。ただ、花束から水が出てくるし、波のかぶり方は弱く、花束はカメラに向かないまま途中で顔も変わっていく。

予告編では、水が糸になるところだけ、少し早送りにしている。

どっちが上というより、得意なことが違う。人を大きく動かしたいならKling AI 4.0、水に濡れた様子を見せたいならMuseで、並べるとそれがよく見える。

次、なにやる？

63秒を作ってみて、これまであきらめていたカメラワークと動きを、かなり形にできた。水のように、まだうまくいかないものもある。

自分のキャラがいる人は、まず1カットだけ、振り向かせてみてほしい。

予告編に出てきたキャラたちのノベルゲーム「KOTAYAの共犯者」は、明日11月7日に v2.0 をリリースする。ブラウザで、無料で遊べる。

メンバーシップ「KOTAYAの共犯者」では、こういうAIの試し撃ちを持ち寄っている。予告編の最後と同じで、ただいまメンバー募集中だ。

出演してくれた共犯者のnoteは、こちら👇

まりー
Marie | まりーの小さな⚙️歯車⚙️ラボ🔬

じまにゃん
向日葵じまにゃん🌻

ちんぱん
ちんぱん🐒耳毛〰(˙👄˙)〰

せな
せな｜無理しない低燃費生活

ナナシ
KITAcore｜キタコレ＠ログプレイヤー

最後まで読んでくれて、ありがとう。
また明日！

KOTAYA✿