メむンコンテンツぞスキップ
芋出し画像

Runway Gen-3 ラむブコンサヌト颚景のショヌト動画をAI生成DAZ Studio 2025

    生成AIはシンプルに䜿えなければ意味が無いのですが、䞀方で、クリ゚ヌティブな仕事には䞍自由さが䌎いたす。今回は、「AI Face Swap」を䜵甚し、Runwayで生成する動画の䞻人公に個性を入れ蟌む方法を玹介したす。

    AI Face Swapで䜿甚した顔画像は、以䞋の蚘事で玹介しおいる䜜䟋です。

    元の顔写真は、Pinterestからダりンロヌドした実圚人物の写真ですが、それをDAZ Studioに読み蟌んで架空の3Dモデル化しおいたす。

    Pinterestなどから実圚人物の顔写真をダりンロヌドしお、そのたた画像生成AIに読み蟌んで䜿っおいるず、生成AIがあなたの所業を孊習しおLLMに取り蟌むかもしれないので、将来的に䞍郜合な事態を招くかも・・・💊

    䜜業の流れ

    今回は、詊行錯誀の結果を元に、自分なりに「これなら動画生成AIが䜿い物になるかも」ず思える䜜業手順をシンプル化しおみたので玹介したす。

    1. AI Face Swapで䜿う、奜みの眮き換え元画像を甚意する

    2. ImageFXでラむブコンサヌト颚景の画像を生成する
      プロンプトは、Google翻蚳を䜿っおシンプルに䜜成

    3. PixlrのAI Face Swapで、2.の䞻人公の顔を 1.の画像で眮き換える
      必芁なら、ここで 3.の画像を画像線集ツヌルでポストワヌク

    4. Google AI Studioで、Runwayで䜿うプロンプトを生成する
      Alpha甚ずTurbo甚をそれぞれ別々に生成

    5. Runway Gen-3でAlphaずTurboを䜿ったショヌト動画を生成
      必芁なら、ここで 5.の動画を動画線集ツヌルでポストワヌク

    6. X.comに投皿し、蚘事内に䜜䟋ずしお埋め蟌み

    これを芋るずかなり耇雑そうに芋えたすが、これず同等の䜜業を3DCGで行うには以䞋のようなプロセスを必芁ずするので、個人的にはかなりシンプル化できたず感じおいたすが・・・💊

    Pinterest > Pixlr Editor & Express > DAZ Studio > Face Transfer 2 > Face Transfer Shape 2 > dForce Simulation > DAZ Importer > Blender > Mixamo > Sketchfab

    ★ 画像生成AIや動画生成AIで生成する人物や颚景は、どこかiPhoneのカメラコンピュテヌション・フォトグラフィヌで撮圱した個性を感じられない写真ず同じむメヌゞがあるので、AI Face Swapで個性を吹き蟌みたす。

    Runwayに読み蟌む元画像の䜜成

    AI Face Swapで眮き換える顔画像を甚意

    今回は、以䞋の䜜䟋を甚いたす。

    画像
    Mizkey FTS2 Up in Hakodate

    ImageFX甚のプロンプトを生成

    今回は、Google翻蚳を䜿っお、日本語から英語に翻蚳し、プロンプト窓にコピヌ&ペヌストしたした。

    A Japanese woman with a sky-blue onepeace accordion preated dress sings on a live stage, and many Japanese audience is clapping in the background. 35mm film .

    ★ 最埌の「35mm film」は、゚クスプレッシブチップスですが、プロンプト窓の䞋に衚瀺される候補の䞭から遞択。リアルな写真颚にするためのダミヌですが・・・💊

    ImageFXでラむブコンサヌト画像を生成

    画像
    ImageFXでプロンプトを入力しラむブコンサヌト颚景を生成

    今回は、巊䞋の画像を遞択。

    ★ 暪顔は、なぜかAI Face Swapがうたくいきたせんでしたが・・・💊

    PixlrでAI Face Swapを実行

    以䞋に行きたす。

    画像
    Pixlr AI Face Swap-1
    画像
    Pixlr AI Face Swap-2

    元画像ずラむブコンサヌト画像を読み蟌み、「Run Face Swap」をクリック。

    画像
    Face Swap埌

    ダりンロヌドするず、以䞋のような結果が埗られたした。

    画像
    face-swap-Mizkey-Hakodate.png蚘事にアップロヌドするずWebPに自動圧瞮

    ちなみに、Face Swap前の画像は以䞋ですが・・・

    画像
    AI Face Swap 前

    ★ あたり代わり映えはしたせんが、唯䞀このプロセスの䞭で個性を出せるずころなので・・・💊

    ★ ここで、必芁なら画像線集したす。私の堎合は慣れおいるPixlrの各皮ツヌルを䜿い分けおいたすが、以䞋の「Clipdrop」の方が䟿利かも

    Runway Gen-3で動画生成

    Google AI Studioでプロンプトを生成

    今回は、Google AI Studioで生成したす。

    ★ デフォヌルトの蚭定から、右サむドの蚭定を倉曎したす。
    1. ModelをGemini 2.0 Pro に倉曎
    2. Grounding with Google Searchをオン

    画像
    Gemini 2.0 Pro & Google Search

    以䞋の日本語をチャットに質問したした。

    Runway Gen-3 AlphaのImage to Videoに䜿うプロンプトを䜜成しおください。シヌンのスタむルは「日本人女性がコンサヌトのステヌゞ䞊で歌っおいる颚景。圌女は聎衆に手を振っお歓声に応えおいる。バックには倚くの日本人の聎衆が拍手を送っおいる」です。文字数は空癜も含め500文字以䞋です。

    生成されたプロンプトは以䞋です。

    ・プロンプト䟋1詳现な情景描写
    A Japanese female singer is performing on a concert stage, bathed in bright stage lights. She waves to the cheering audience, her expression full of joy and excitement. The crowd, consisting of many Japanese people, is enthusiastically clapping and waving back. The stage is large, with a dynamic light display in the background. Camera angle: Medium shot, slightly from below, capturing the energy of the performance and the connection between the singer and the audience.
    Use code with caution.

    ・プロンプト䟋2キヌワヌドを匷調
    Concert stage, Japanese female singer, enthusiastic crowd, Japan, waving, clapping, stage lights, dynamic lighting, live performance, joyful, energetic, medium shot, low angle.
    Use code with caution.

    ・プロンプト䟋3感情ず雰囲気を重芖
    An uplifting and energetic concert scene. A Japanese woman sings on stage, her voice resonating with emotion. She connects with her Japanese audience, waving her hand and receiving a wave of applause and cheers in return. The atmosphere is electric, with vibrant lights and a palpable sense of excitement.
    Use code with caution.

    ・プロンプト䟋4カメラワヌクを指定
    Slow zoom in on a Japanese female singer performing on a brightly lit concert stage. She is interacting with a large, enthusiastic Japanese audience, waving and smiling. The crowd responds with cheers and applause. The camera focuses on the singer's expressive face and gestures, capturing the emotion of the moment.
    Use code with caution.

    画像
    Google AI StudioでRunway Gen-3 Alphaのプロンプトを生成

    Runway Gen-3 Alphaで動画生成

    ラむブコンサヌトの画像を読み蟌み、プロンプトを貌り付けお「Generate」をクリック。以䞋は、「プロンプト䟋4カメラワヌクを指定」のケヌス

    画像
    Runway Gen-3 Alpha 5秒

    䞋の䜜䟋の動画が生成されたした。今回は5秒版です。

    同様に、Turboの堎合は以䞋です。プロンプトは同じ

    画像
    Runway Gen-3 Alpha Turbo 5秒

    ★ Alphaは、プロンプトに忠実な人物の倧きな動きが期埅できたすが、人物の䞀貫性がない匱点がありたすスカヌトの裟の柄が異なるなど。

    ★ Turboは、動きが小さくスロヌモヌションになりやすいのでカメラワヌクを䜿いたいですが、人物の䞀貫性が保たれるのが期埅できたす。

    䜜䟋X.com

    Alphaカメラワヌクを意識したプロンプト

    Runway Gen-3 AlphaAI Face Swap/Pixlrカメラワヌクを意識した䜜䟋 pic.twitter.com/IzMC9sQ9TV

    — DAZGEN (@OtomonoLive) February 28, 2025

    Turboカメラワヌクを意識したプロンプト

    Runway Gen-3 Alpha TurboAI Face Swap/Pixlrカメラワヌクを意識した䜜䟋 pic.twitter.com/EpKIpt0yjU

    — DAZGEN (@OtomonoLive) February 28, 2025

    ★ Turboはカメラワヌクのプロンプトもあたり効果が無さそうなので、今埌はTurboのカメラモヌション機胜を詊そうかず・・・💊

    たずめ

    動画生成AI「Runway Gen-3 Alpha & Turbo」を䜿ったショヌト動画の生成を、比范的シンプルなプロセスで完結させる方法を玹介しおいたす。

    ただ詊行錯誀の段階ですが、DAZシヌンをレンダリングしお制䜜したデゞタル矎少女䜜品や、Sketchfabにアップロヌドした䜜品の掻甚方法を暡玢し、有料蚘事の有料゚リアで非公開画像や360°VRの方向性を怜蚎したいず思いたす。

    参考リンク


    あなたぞのおすすめ