画像生成AIが溶かす「リアルとイラスト」の狭間：ChatGPTで作るメタ世界

現在のChatGPTに備わっている画像生成AIって、プロンプト精度にこそ最大の強みがあると思っています。
人物をはじめ、背景、構図、服装、色合い、ポーズ、画風、光の当て方、テキストなどなど、長々と数多くの要素を詰め込んでいっても、概ね再現してくれるんですよね。

加えて、高品質でリアルな画像だったり、アニメ風のイラストも生成可能です。
それで、これらの特徴を組み合わせると、リアルな世界にアニメ風のキャラクターを融合させたような画像を作ることが出来たりします。

例えば下記の例みたいな感じですね。

この画像は、リアルなスマホから、アニメ風のキャラクターが飛び出たような構図になっていますよね。

このように、リアルさとアニメ風イラストの融合が自然に出来るのが、ChatGPTでの画像生成の隠れた凄さだと思っています。

ということで、今回はこのような画像に関して幾つかの実例を紹介しつつ、何故ChatGPTがこのような画像を生成できるのかについて触れていきます。

実際に生成した画像例の紹介

今回は、ChatGPTで下記の「白衣のちびキャラ」を作成しています。
これをベースにリアルな画像と組み合わせていった例を紹介していきます。

机上のノートの上に立っている

コーヒーカップの縁に腰掛けている

テディベアに抱きついている

プリンを前にして目を輝かせている

このように、リアルな背景とイラスト風のキャラを、プロンプトとして指示することによって、これらが上手く共存した画像が生成で来ているかなと思います。

この書き分けを可能とする、ChatGPTのプロンプト精度の高さ（クロスアテンション）も凄いのですが、それ以外にもリアルとイラストのシームレス感も実は注目すべき点なのではと思っています。

通常、このような画像を作る場合って、リアルな画像にイラストのキャラクターを合成する必要がありますよね。
そして、合成した場合には、何も処理しないとイラストが浮いた感じになってしまいます。

何故なら、そのままだと光や影に違和感が生じますし、コントラストや色味にも統一感が出ないからです。
だから、上手く両者を馴染ませる手間を加える必要があるんですよね。

それにもかかわらず、今回の画像って、そのような違和感がなくて統一感があるように感じられます。

色味やコントラストの掛かり方も、影の落ち方や光の当たり方も自然に映っている。
もっと言えば、ソファの凹み具合からのキャラクターの重量感を反映しているのも、シームレス感を高めてる部分ですよね。

そう考えると、このように自然に融合して生成出来るのって興味深いなって思います。

何故、シームレスな画像が生成可能なのか？

ChatGPTがこのような画像を生成できるのは、主に２つの理由がありそうです。

①拡散モデル由来の全体同時最適化

今の画像生成AIの主流は「拡散モデル」を用いていて、ノイズから徐々にプロンプトに沿った画像を生成していく訳ですが、その際に画像全体を同時に最適化しながら生成しています。

それぞれの要素が連動しながら描写されていって、途中で整合性が取れないと収束しないため、逆に言うと収束した画像は全体の整合性が取れるようになっているんですね。

ChatGPTがどういったモデルを用いているかは公表されていないのですが、文献から推定されている限りは、「拡散モデル＋自己回帰モデル」のハイブリッドと言われています。

なので、リアルとイラストという異なる質感が共存していても、全体最適化しながら生成することによって、画像全体としては一体感が出るように、コントラストや色合いが調整されていくのだと考えられます。

②学習による「物理的なリアルさ」の獲得

生成AIは物理現象を理解しているわけではないのですが、大量の学習データから、物理現象っぽさを再現することが出来ます。

例えば、異なる質感の材料に対して、それぞれどのように光が当たるのが自然なのか、あるいは影がどのような落ち方をすると自然なのかを描画出来るんですよね。

なので、リアルさとイラストが共存していても、それぞれの材質に沿った「それっぽいリアリティのある」影や光の当たり方を可能とするため、自然で融合した印象が出てくるんじゃないかなと思います。

生成AIにはきっと「意味の壁」がない

さらに別の要因を考えていくと、「AIはリアルとイラストを意味的に区別していない」という点があるように思うんですよね。

私たち人間にとって、写真のようなリアルな画像って、現実と陸続きで「本物」を意味しています。
一方で、イラストは明らかな創作物であって、「虚構」的な意味を持ってますよね。

つまり、実物と虚構という、明確な意識の壁を人間は持っているので、それらを融和することに躊躇が出てくる。
「この部分はどうなっているんだろう？」とか意味づけを求めると、どうしても違和感が出てくるんだと思います。

でも、生成AIにはこういった意識を持たなくて、リアルとイラストは単なる表現スタイルの違いにすぎないんですよね。

印象派とロココ調と現代アートで表現スタイルが違うのと同じように、リアルとイラストもスタイルの違いでしかない。

だから、生成AIはためらいなく、違和感なく、その両方を混ぜて描けるという側面もあるのかなと思います。

まとめ

今回は、リアルさとイラストの融和というところを取り上げてきました。
こういう「現実と虚構の狭間」にある、メタ的な感じって面白ですし、未来感が出てきますよね。
プロンプト的にも背景とキャラクター別々に指示するだけで比較的簡単なので、もしよかったら試してみてください。

参考になったら、スキしてくれると嬉しいです。
それではまた。

〇関連リンク