それ、ホントにプロンプトが原因ですか？動画化プロンプトを忠実に反映させるための画像の作り方。

こんにちは、クロクマです。

前回のnoteで、

こんな話をしました。

今回はこの意味を深掘っていきます。

AI動画生成を始めて、初心者〜中級者くらいの方に多いのが、

この問題にぶち当たってる方は多いと思います。実際私もそうでした。

近頃の動画生成AIは、プロンプトに対して理解力は上がってきてはいるものの、まだまだ “アホなの？”って出力も多いです。

その都度プロンプトを考え直したりすることもあるかと思いますが、それってホントにプロンプトが原因でしょうか？

給料日に給料全部使ってしまうイカれたギャンブラーのように、更新日にクレジット全部使ってしまうような私がたどり着いたのが、

ってこと。

ではいきましょう。

その破綻、本当にプロンプトのせいですか？

「翼を広げて〜」と入力すると、なぜか別の場所から翼が生える。

どう見ても翼はそこにあるんです。
位置も自然。形も翼。

それなのに、今ついている翼を使わない。

最初はプロンプトが悪いと思いました。

言い回しが曖昧なのかもしれない。
英語の翻訳がおかしいのか。
もっと具体的に書くべきなのかもしれない。

プロンプトを書き直してみる。何度も書き直しましたよ。

でも、なぜか毎回プロンプト通りにいかない。

まだまだ動画生成の経験も少なかったので、プロンプトって難しいんだね〜、みたいな。

でもそんなことが何回も続くとさすがに、いやいや、なんかおかしくね？みたいな。

クレジットが無くなっていくストレスでハゲるんじゃね？って思うようになってきた頃に、はじめて、

という考えに辿り着きました。

はじめはその “別のところ” が全然検討もつかなかったんですけどね。

でもなんかこれって偶然じゃないような気がする。

こんな感じで思ってました。

もしかして、AIは“同じもの”を見ていない？

動画生成って、プロンプトを入れた瞬間に魔法みたいに動き出しているように見えますよね。でも実際は、まず最初にやっていることがあります。

どこが顔で、どこが腕で、どこが体なのか。それが何なのか。

これを「物体認識（それが何かを判断すること）」といいますが、やっていることはシンプルで、「この塊は何？」と仕分けしているだけです。

でもこれって公式に「動画生成AIは物体認識をしています」と公表されているわけではないです。内部処理はブラックボックス。

ですが挙動を見ていると、そう考えると説明がつく現象が多い気がします。

ほとんどの生成モデルは拡散モデルをベースにしていると言われていますし、内部では潜在空間と呼ばれる抽象的な表現で画像を扱っています。

その中で行われているのは、人間のような “意味理解” というより、形状やパターンの統計的な処理です。

どういうことかというと、こちらが「これは翼だ」と確信しているものも、AIの内部では、

・装飾の一部
・触手のような形状
・背景の模様

として曖昧に扱われている可能性があるんです。

AIが知らないというよりも、“確信できていない”

特にオリジナルの世界観やオリジナルキャラクターは、いわば未学習領域（データが少ない世界）です。

人間や犬や鳥のように、世の中に大量にあるデータではない。だから内部表現が安定しにくい。

ここがズレていたら、その後にどれだけ丁寧なプロンプトを書いても、方向はズレたままになります。

どっから翼出してんだよ

私が作っていたのは機械式のオリジナル生物でした。

翼はあるし、構造も自然。
なんか機械っぽいけど人間から見たらあきらかに鳥類。

それなのに「翼を広げて」と入れると、既存の翼はそのままで、別の場所から翼が生える。

これでめちゃくちゃクレジットを削りました。
プロンプト変えて20回以上は生成したと思います。
Klingで700クレジット以上持ってかれてます 笑 たった1つの5秒動画に。

いや、おかしいでしょ！って思いつつ、めっちゃ考えました。
「もしかして翼の位置、知らねんじゃね？」いや、そんなことある？

なんとなくNano Bananaであらかじめ翼を少し開いた状態の画像にして、「ここが翼だよ〜」ってわかるようにしてみました。

めっちゃ広がるし 笑

このときやっと気づきました。

動画生成は、ゼロから動きを作るというより、今ある形を少しずつ変形させて連続させているような仕組みなんです。静止画の延長線上を、時間方向に広げているだけということ。

内部で「ここは関節」「ここは翼」と明示的に理解しているわけではないと思います。でも、時間方向に一貫性を持たせるために、どの部分が変形しやすいか、どの動きが自然かといった統計的傾向は学習しているはず。

これをわかりやすく言えば、「可動域を推定しているように見える挙動」です。

公式にそう発表されているわけではないですけど、挙動を見る限り、AIは“動きそうな構造”と“動きにくい構造”を区別しているように見えます。

例えるなら、レゴブロックで作った人形。

腕のパーツがちゃんと分かれている状態なら、「腕を上げて」と言われれば動かしやすい。

でも、腕と胴体が一体化して見えるブロックだったら「腕を上げて」と言われても、どこを動かせばいいのか分からない。

だから別のブロックを足して“腕っぽいもの”を作る、という挙動をしても不思議ではないんです。

翼の増殖は、そんなことが起きているように感じました。

もう１つの例を。

画像が複雑になればなるほど、動かしたい部分が明確に伝わるような画像にするのがポイントです。

今現在の最新動画生成モデルは、精度が格段に上がってきてるのでそれなりに “空気を読んでくれる” かもしれません。

それでも画像からの動画化は、

この考えのほうが精度高く、クレジット消費も少なくて済みそうです。

ややこしいのが “モデルの差”

ここで話はもう一段ややこしくなります。

同じ画像、同じプロンプトでも、使う動画生成AIによって結果が変わることがあるという事実。

あるモデルでは破綻するのに、別のモデルでは自然に動く。

これはプロンプトの優劣だけでは説明できません。

モデルごとに、

ここに違いがあると考えるのが自然。

内部構造は完全には公開されてませんけど、挙動を観察しているとモデルごとの “クセ” は確実に存在します。

ここまで理解しておけば、闇雲にプロンプトを書き直す回数は減ると思います。

解決策はプロンプト磨きではない

最終的に私がやるようになったことはシンプルでした。

動かす前提で画像を作る。

プロンプトを極める前に、画像設計を見直す。

AIは万能ではないです。
膨大なデータから “それっぽい正解” を出しているだけ。

だからこそこちらが少しだけ構造を整えてあげる。
歩み寄ってあげる。みたいな感じです。

もちろん動画化プロンプトが悪いような場合もあります。

画像に問題がなくても100％破綻が回避できるわけではありませんが、この視点を持てるかどうかでクレジットの減り方は本当に変わります。

動画生成をある程度触って、「なんでプロンプト通り動かないんだ」と思ったことがあるなら、一度画像の構造を見直してみてください。

順番を入れ替えるだけで、もっとスムーズに自然に動くようになりますよ。

ここまで読んでいただきありがとうございました！
このnoteがあなたの役に立てばうれしいです。

ではまた、次回のnoteで。

私と同じように“忙しくても副業を始めたい方”に向けて書いていますので、よかったら “スキ” や “フォロー” もらえるとうれしいです。

お願いします🙇‍♂️