Runway Gen-3でファッションショー ファースト・インプレッション｜Image to Video vs Video to Video

Runway Gen-3 AlphaとTurboで、２種類の作り方でファッションショーのAI動画生成を試してみたので、ファースト・インプレッションを紹介します。

Image to Videoでは、ファッションショーの背景と人物を合成して動画生成しましたが、プロンプトは人物とカメラの動きのみをシンプルに記述。

一方で、Video to Videoでは、Google AI Studioでガッツリとプロンプトを作り込みましたが・・・

Image to Videoでファッションショー

読み込む画像を準備する

今回は、ロイヤリティフリーの無料写真をPixabayで「ファッションショー」で検索しダウンロード。

オンライン画像編集ツール「Pixlr Express」で、中央のモデルを消去。

Sketchfabのグリーンバックの360°VR作品からスクリーンショットした人物画像のグリーン背景を削除し、上記の背景画像と合成。

Runway Gen-3のTurboでImage to Video

プロンプトは、カメラと人物の動きのみをシンプルに記述。

作例（X.com）

・カメラ：「Static camera」設定をオフ、スローモーション、チルトアップ、顔をトラッキング
・プロンプト：Slow motion. Tilt up and tracking woman's face: The woman walks with the syle of a catwalk.

・カメラ：「Static camera」設定をオン（カメラ固定）、スローモーション
・プロンプト：Slow motion: The woman walks with the syle of a catwalk.

Video to Videoでファッションショー

YouTube紹介動画

読み込む動画を準備する

グリーンバックのスクショ３枚とプロンプトを組み合わせて、途中でターンする動画を生成。

Google AI Studioでプロンプトを作成

Google AI Studioで、日本語から英語のプロンプトを、空白を含めて500文字以内で作成します。日本語の例は以下です。

生成されたプロンプトの例は以下です。

Runway Gen-3 AlphaでVideo to Video

グリーンバック動画を読み込み、プロンプトでスタイルを変更します。

作例（X.com）

顔や衣装の変更をプロンプトで制限します。

ファースト・インプレッション

Image to Videoの場合は、グリーンバックの画像から、プロンプトで背景を含め直接生成するのはかなり困難だと感じました。

そこで、グリーンバックの人物画像の背景をAI画像編集で削除し、それをファッションショーの画像と合成し、Runway Gen-3 Alpha Turboで動画生成する方法がもっとも効率が良いと思います。

ただし、人物はプロンプトでは変更がほとんどできませんでしたが・・・
（Turboは人物の一貫性が保たれる反面、動きが少なく変更できない）

Video to Videoの場合は、グリーンバックの動画をAI生成し、それをベースにVideo to Videoでプロンプトによるスタイルの変更は、かなり大胆にイメージを変更できました。
（Alphaは、プロンプトに忠実にダイナミックな表現が可能だが、人物の一貫性が保たれない）

この場合は、Google AI Studioで日本語から英語のプロンプトを生成し用いましたが、こうしたAIツールを連携させて最終作品を生成することが、今後はスキルとして求められるとともに、ツール選定も重要に感じます。

まとめ

Runway Gen-3 AlphaとTurboでファッションショーのAI動画生成を試してみたので、ファースト・インプレッションを紹介しています。

Image to VideoとVideo to Videoでは、それぞれ得意な使い方があるので、目的に合わせて効率の良い方法を選択する必要があります。

また、AlphaとTurboの違いを使い分けることも、現状では必要になります。

次回以降では、Sketchfabにアップロードするファイルの制作のために、Lutris WINE環境で動くBlenderのインストールと、DiffeomorphicによるDAZシーンのインポートについて検証したいと思います。

参考リンク