やればやるほど動画生成もきっとうまくなる。無料範囲でもPolloAIで楽しい動画が作れました

画像生成AIの次はもちろん動画生成AIだ！

何やら動画生成のコンテストをやっているらしい。賞金も！？乗るしかない、このビッグウェーブに！

PolloAIxしろねんコンテスト　アート・表現部門にエントリーします

こちらのコンテストは、参加するだけで動画生成に必要なクレジットももらえるらしい。
ということは無料で学べるということ！乗るしかない、この（以下省略）

どんな動画を作ろうか？

悩んで妻と雑談していた時に思いついたのが、健康ネタ。
詳細は漫画も作ったので別エントリーに書くことにしますが、とにかく何を思いついたかというとですね、

【肥満柱】です。

何を言っているのかわからねーと思いますが、要は、某有名漫画『鬼滅の刃』で、鬼殺隊と呼ばれる組織の、強く実力のあるものが『柱』と呼ばれるんですね。
「じゃあ僕は『肥満柱』だね」ということです。（？）

とにかく、イメージを形にすればみんなに伝えられると思うので、はい、これです。

そんなわけで肥満柱です、こんにちは。

せっかくなので、今回はこのキャラクターを動かしていこうと思います。

まずは絵コンテをつくろう！

動画を作るには絵コンテなるものが必要です。
実際にアニメーションや映画を作る時も絵コンテを描きますよね。
そして絵コンテ…当然描けません。

でも大丈夫！僕らにはAIがある。AIがあればなんとでもなります！
上の画像をChatGPTに渡して、お願いします。絵コンテ描いてー！って。
実際には、以下のGPTsをお借りして作りました。

テーマが思い付かなくても、このGPTsを使ったらある程度動画の案も出してくれたので、自分ではほとんど何もせず、プロンプトと絵コンテを生成してくれました。
それがこれ、名付けて『月下の覚醒』です。

いいですね！「全ての過食を力に変える」の意味が分かりませんが、元々のイラストも壱の型からして意味が分からないので、これはつまり、なんだか分かります！マイナス掛けるマイナスです！きっと彼の周りに吹き荒れる光がいい感じのアニメーションになるのではないかという予感がしてきました。

実際にPolloAIで生成してみたら案外難しい

まずはじめに作った動画、それがこちらです。
PixverseV5.6『リファレンスから動画生成』8秒 360pで作りました。

え、ダサ。
全然光吹き荒れてないし。右手に蚊取り線香をお持ちですか？最後も武富士Lv1みたいな決めポーズ。

服はそれっぽいものが踏襲されてますが、雰囲気のある月夜は肥満柱には荷が重かったか。重いのは肥満柱のほうですが。
こんなこと言い続けてたら空気も重くなっちゃうよ。
しかしそれでもBGMとか音がちゃんと合っているのはすごいと思います。「それっぽい」はうまいんだよなー。

note埋め込み用に動画をgifに変換

ちなみに、動画はnoteに直接埋め込めないらしいので、gifに変換しています。ffmpegを使えばダウンロードした動画を変換できます。以下のコマンドで一発です。

ffmpeg -i input.mp4 -vf "fps=10,scale=480:-1:flags=lanczos" output.gif

この後も、絵コンテ通りの動画が生成されることを期待して、少しプロンプトを修正しつつ何度か生成してみましたが、思った通りの動画を生成するのは結構難しかったです。クレジットも無駄撃ちしてしまいました。

アップにしてかっこよくしようとか、もはや肥満柱っぽく光をハンバーガーの形に変えようとか、アイデアは後から後から出てくるのですが、色々やってしまってだんだん何がなんだかわからなくなってきました。

実は、このコンテスト参加前にも、PolloAIが主催しているコンテストに応募して商品CMみたいな動画を作ってみたりしていたのですが、結局納得いくものが完成しないまま、期限が過ぎてしまって応募できなかったという経緯があります。申し訳ないです！（その時いただいたクレジットは有り難く勉強に使用させていただきました。）

変数の力でたまたまうまくいく時もあれば全然ダメな時も。画像生成と同じで、続ければだんだんコツをつかんでうまくなりそうですが、動画生成はまだ結構お金がかかります。使用するモデルによっても相当使用クレジットの差がありますね。

なので、はじめは生成時のクオリティを下げて（解像度を360pにする、秒数を減らすなど）何度か試してプロンプトを調整し、一発本番に賭ける、というような使い方が良いのかなと思っています。
あと無料勢ならログインボーナスも地味に効いてきそうです。PolloAIはアプリもあるので、アプリを毎日起動してログインボーナスだけでも貰っておいたほうがいいと思います。

で、生成してて途中で思ったんですよね。

何と戦ってんだろう、この人。
いろんな意味で。

そもそも、生活習慣病って自分自身との戦いじゃん。そして肥満柱ならハンバーガーを出したら撃っちゃダメじゃん。自分で食べよう。
ってことは絵コンテがダメじゃん？変えよう。

そうなんですよ、絵コンテが大事。生成AIも絵コンテを見て生成するので、ここがしっかりしていなきゃダメなんです。だからこそ、土台はしっかり作らないとですね。Claude CodeでVive codingする時も、やっぱり雰囲気で作っていくと途中で何作ってるのかよく分からなくなっちゃうことってあるので、初めにしっかり自分の中のイメージを固めて、言葉にして伝えないと、生成AIも何を作って出せばいいかわからなくなるのは当然です。

で、作り直した絵コンテがこちらです。

なんか画像内の説明文とか消滅しましたが、まあいいや。美味しそうな表情で食べますね、この人！
この絵コンテに合うプロンプトをもう一度ChatGPTに考えてもらって、再度生成してみました。

なんやかんやで完成しました

改めまして、肥満柱です、こんにちは。
今日は僕の匠の技を見ていただいてね、お腹でも空かせて帰ってください。

えー…なんか手がリアルでキモ実写みたいになっちゃいましたね。服も食べ物の模様じゃなくなってるし…。でもまあいいか、ハンバーガー食べられたので。咀嚼音が変でもまあいいか。

音付きの動画はXにアップロードしました！

総括

という感じで、なんとか動画が作れました！アート・表現というにはおこがましい出来ですが、それでもAIに指示するだけで動画が作れるというのは、すごいことです。

これをきっかけにもっと動画生成のレベルを上げて、いつかはちゃんとした武富士ダンスを踊れるようになれたらと思っています！
絶賛『参の型　糖尿病』を治療中の肥満柱を、今後ともよろしくお願いします！