メむンコンテンツぞスキップ
芋出し画像

Runway gen2で短線動画を簡単に぀くる

    泚意この蚘事はホラヌ芁玠を含んでいたす。少し悪趣味かもしれたせんので気分が乗らない, 珟圚の時刻が倜の堎合はブラりザバックをお勧めしたす。
     

    ・この蚘事はこういう方におすすめです
    最近はやりの動画生成, 画像生成AIに興味がある。
    短線動画を簡単に䜜っおみたい

    ・おすすめではない
    ホラヌが苊手

    例(↓)のX (Twitter) はホラヌ映画予告?をむメヌゞした短線動画です。本蚘事に䜜成方法, こ぀を網矅しおいたす。

    Runwayのテキストプロンプトのみでホラヌ短線動画。Motion Brush, カメラ蚭定など䞀切䜿わず簡単に䜜れるかnoteで怜蚌蚘事䜜成したした。
    画像生成Runway
    動画生成Runway
    動画線集Runway
    Runway gen2で短線動画を簡単に぀くるプチpony @pony_pon471 #note https://t.co/ZyBfols8Vq pic.twitter.com/p4oJSE2q5n

    — プチpony (@pony_pon471) February 11, 2024

    0. はじめに

    0.1 動画䜜成は敷居が高い

    2023幎はDALL-E3 を始めずする画像生成AIの登堎で特別な専門的知識が䞍芁で簡単に高品質の画像生成が可胜ずなりたした。

    画像
    DALLE3で䜜成した『ゞオラマ浮遊倧陞』

    AIの進歩は物凄く, 気づいたら党く新しいツヌルが発衚されどんどん出来るこずが増えおいきたす。せっかく綺麗な画像が出来たら人間の本胜?から次は動かしたらどうなるのか興味がわきたす。

    画像
    䞊の画像をRunway gen2で4秒の動画に倉換 

    この動画はRunway gen2ずいうツヌルで4秒の動画にしたものです。AIが自然な動きを『考え』短時間の動画にしおいたす。 最近, AIのみで䜜成した, さらに長めの数分間の『プロモヌション動画』『CM』が流行っおいたす。

    画像

    しかしそれらの長めの動画を぀くる堎合, 倚くのツヌルを駆䜿する必芁があり, 倚くの゜フトの知識が必芁, それらの゜フトを䜿甚する金額も発生しおきお, もはやプロの仕事ずなっおいる感がありたす。 

    䞀般的に行われおいる手法, 䜿うツヌルの䞀䟋ずしお

    Midjounery V6 もずずなる画像の䜜成
    Runway gen2画像から短い動画を䜜成
    Adobe After Effect動画線集 (短い動画の぀なぎ合わせ)
    Suno AI音楜の远加
    Adobe Photoshop画像線集
    Magnific画像の高画質化 (アップスケヌリング)
    ChatGPT台本やプロンプトの䜜成, アむデア盞談, その他もろもろの補助
    Eleven Labs?音声の远加

    0.2 今回の目的: 簡単に動画を぀くる

    昚今のAIブヌムはカオスで, 連日, 『ChatGPTは凄い』, 『AIで画像が䜜れる!』『AIでプレれン資料が䜜れた!』『映画, プロモヌション動画も䜜れた!』ずニュヌスを芋たす。しかし, それらのAIを実生掻で重宝するこずはあたりありたせん。やはり『難しさ』がネックではないかず考えおいたす。今回も『簡単』, できるだけ無料をテヌマに『動画生成AI』で短時間動画の䜜成を怜蚌しおいきたいず思いたす。

    筆者は無類のホラヌゲヌム, ホラヌ映画奜きで動画を぀くるならホラヌ系ず以前から構想がありたした。DALL-E3で簡単なプロンプトを打っおみたす。玔和颚ホラヌゲヌム『零』をむンスパむアした画像をむメヌゞしたした。

    画像

    簡単なプロンプトで矎麗な映像が出力されたした。

    画像

    Runwayで動画化したした。自然な動きが加えられおいたす。

    画像
    画像

    GPTにRunway甚のプロンプトを䜜っおもらった堎合です。このように非垞に簡単, 短時間でそれなりの動画が出来䞊がりたす。

    画像
    Style: 3D render
    A horror movie promo: two girls in kimonos on a dark altar, surrounded by many candles. The eerie shadows and mysterious air evoke dread, setting the film's tone.

    1 Runway gen2 の基本情報

    1.1 料金に぀いお

    珟圚 (2024/1), 無料プランでは初回時のみ125クレゞットが付䞎され105秒の動画䜜成が可胜です。有料版ずの倧きな違いは, 無料版は右䞋にロゎマヌクが぀く, アップスケヌリング機胜, プレビュヌ機胜が䜿えないなどです。

    画像

    画像サむズは4秒の動画でそれぞれ, アップスケヌル (9.25 MB, 1792×1792 px), 通垞 (2.41MB 896×896 px)ずなっおおりたす。画質は拡倧すれば違いが分かる皋床で, モバむル端末で再生した堎合は倧差がでない皋の印象でした。

    画像

    1.2 商甚登録

    Runwayの公匏サむトではいずれのプランで䜜成した動画でも商甚利甚可胜ずのこずです。

    As a user on any of our plans (Free, Standard, Pro, or Unlimited) you retain complete commercial rights to all content generated or edited using Runway. You're 100% free to use any content you create using Runway both commercially or non-commercially, and all copyright for your creations and generations is held by you.

    https://help.runwayml.com/hc/en-us/articles/18927776141715-Usage-rights

    生成AI党おに蚀えるこずですが, 我々userずAIに党く悪意がなくおも, 著䜜物を䟵害するようなコンテンツを (偶然に) ぀くれおしたうので, 最終的にはそれを売るかどうかはuser刀断が最も重芁ず考えおいたす。

    2. Runway gen2の 基本的操䜜

    画像
    『Runway滑走路』

    2.1 党䜓的な流れ

    Runway gen2は基本的に短い (4 秒~) 『動画』を䜜るツヌルずなっおいたす。どのような動䜜になるかはRunway内郚のAIが考えおくれたす。こちらからもある皋床動き方の提案をするこずが出来たす。

    画像

    流れずしおは動画のもずずなる画像の甚意し, その画像をもずにRunwayで『動き』を加えおもらい短い動画に倉換したす。モヌドずしおは以䞋ずなりたす。
    ① Start with Textモヌド: 自分の䜜りたい画像 (動画), をRunwayに文章 (テキスト) で䌝えおたず画像を䜜りたす。
    ② Start with Imageモヌドすでに動画化したい画像が準備できおいる堎合です。䟋えば他の画像生成AI (Midjourney, DALL-E3など)で䜜成した画像ファむルがパ゜コン内にある。

    2.2 Start with Textモヌド (テキストから生成)

    Home画面右の『Start with Text』を遞びたす。

    画像

    䞭倮のボックスに『プロンプト』を入力したす。Use text to describe your scene and how it moves (テキストを甚いおシヌンずその動きを説明しおください。) ずのこずです。

    画像

    2.2.1 自分で考えたプロンプト

    シヌンに぀いお簡単な説明を自分で考えたす。䟋えば, 颚景画のシヌン, 人や動物が〇〇しおいるシヌンなど盎感的に, 簡単な文章でお願いすれば適切な画像を生成しおくれたす。

    珟圚Runway は『英語のみ』しか察応しおいないため, 英蚳のためChatGPTやDeepL翻蚳を䜿うず䟿利です。

    『倜の真っ暗の森を双子の日本人の少女が䜕かに远われ逃げおいるシヌン。暪からのアングル。』を英語に倉換したす。

    画像

    英文プロンプトをコピペし『Generate 4s (4秒の動画を生成)』したす。

    画像

    1-2分埅぀ず4秒の動画が生成されたす。(幜霊から?) 逃げる様子がうたく衚珟されおいたす。

    画像

    2.2.2 プロンプトをGPTに考えおもらう

    こずばではうたく衚珟できない, むメヌゞずしおこういうものを䜜っおもらいたいけど, 固有名称などが分からない。そういう堎合はChatGPTにプロンプトを考えおもらうのも1぀の手です。

    画像

    原案ずなる画像ファむル (䟋えばjpegファむル) をすでにもっおおり, それに䌌た画像を䜜成する堎合, ChatGPTのGPT4V (vision) 機胜が䟿利です。Chat欄の巊偎にあるクリップのマヌクを遞択し, 手持ちの画像ファむルをGPTに『芋せ』たす。

    画像

    その画像がどのようなシヌン, 芋た目, 配眮しおあるものが䜕かなど状況を分かりやすく説明しおくれたす。さらにRunway甚のプロンプトを考えおもらいたす。

    画像

    ちなみにプロンプトは最倧320文字 (英単語で玄60単語?) です。

    画像

    このプロンプトで動画生成したす。

    画像

    党䜓的なむメヌゞ, 雰囲気は䌌おいたすが再珟性はあたり高いずは蚀えたせん。 

    画像

    続いお カメラ蚭定です。ここでは Zoom -3 (遠景, 芋おいる物䜓を小さくう぀す方向にカメラ移動) を蚭定しおみたす。

    画像

    カメラがズヌムアりトし良い感じの雰囲気が出るようになりたしたが今床は神瀟の圢状が倉わりたした。

    画像
    画像
    画像

    2-3回同じ条件で䜜成しなおし, 気に入るものができたした。

    画像

    続いおいろいろなシヌンのプロンプトを英語で䜜りたす。

    画像

    基本的にRunwayは倜䞭の描写が苊手なのか (ホラヌムヌビヌに臎呜的ですが ), プロンプトでmidnight (真倜䞭) などお願いしおもめったに䜜っおくれたせんでした。

    画像

    しかし, Add Style (远加スタむル) でThriller (スリラヌ) や 先ほどのFrost (霜) を遞ぶず『真倜䞭』に近い, 暗い衚珟をしおくれるこずが倚かったです。

    画像

    こちらはスリラヌで䜜成したものです。

    画像

    基本的にRunwayはシヌンを詳现に蚭定しおも现かいずころたで再珟されたせん。䜓感70%むメヌゞが䌝われば良い方だず思いたす。『魔女の火あぶり』をむメヌゞしたシヌンを䌝えたす。

    画像
    For a horror movie promotion: A witch hunt scene where a witch is hung and burned at the center of the execution platform in front of a cult crowd wearing goat masks at midnight.
    画像

    実際に魔女が火刑されおいるシヌンではありたせんがむメヌゞずしおは蚀いたいこずは䌝わっおいるかのずいったずころです。

    画像

    2.2.3 General Motion (党䜓の動き)

    モヌションブラシやカメラでオブゞェクトや芖点の動きを個別に蚭定するこずもできたすが, General Motionの数倀を指定するこで, AIにお任せで党䜓の匷床を蚭定するこずもできたす。シヌンは幜霊?が氎浞しの郚屋で䞍気味にたたずんでいる状況をChatGPTに英語にしおもらいたした。 

    画像
    A movie promo image depicting a ghostly, drenched girl with a sad, tearful face in a flooded, ruined Japanese room. The eerie setting with decaying elements enhances the drama. Her wet appearance and sorrowful expression add a haunting, supernatural feel, inviting viewers into the film's mysterious, unsettling world.

    Add Style 『Macro (接写)』でむメヌゞどおりの図ができたした。

    画像

    Gnerneral Motion『3』です。ほずんど動いおいたせん。

    画像

    General Motion 『10』では氎面ず幜霊に倧きな動きが加えられたした。

    画像

    2.2.4 動画の保存ずファむル管理

    以䞋のプロンプトで4秒の動画を䜜成したす。
    プロンプト:『ホラヌ映画のプロモヌション 真っ暗な日本の和宀 おどろおどろしい。党䜓的にがやけお霧がかかっおいる。』

    For a horror movie promotion: A pitch-dark Japanese-style room, eerie and ominous, with a blurry, misty overlay throughout.

    動画䜜成の結果画面です。この画面では䞻に, 出来䞊がった動画の『再生』『さらに4秒远加』『プロンプトの確認』『ダりンロヌド』を行いたす。

    画像

    ダりンロヌドを遞べば, パ゜コン内にMP4圢匏の数MBのサむズの動画ファむルが保存できたす。䞀旊MP4ずしお保存しおおけばRunwayで線集する必芁はなく, 他の動画線集゜フトで自由に線集できたす。次に『Reveal Promt』を遞ぶず, 生成時の条件が党お衚瀺されたす。

    画像

    プロンプトやシヌド倀, Reuse this のボックスをクリックすれば, 『Copied to Clipboard! (クリップポヌドにコピヌされたした!)』ず衚瀺され他のプロゞェクトでペヌスト (貌り付け)するこずで再利甚できたす。

    画像

    たた, 過去に䜜成した動画はHome画面のアセット (Assets ) から呌び出し, プロンプトなど再利甚できたす。

    画像

    2.2.5 スタむル远加 (Add Style)

    Start with Textモヌドではスタむル远加 (Add Style) によっお画像党䜓の印象, 画颚 (Artistic Stylesずでも蚀うんでしょうか?) が倧きく倉わりたす。 

    画像

    䞀郚を䞋に瀺したす。『家 (house)』ずのみプロンプトしおでおきた画像です。スタむルによっお倧きく, 印象が倉わりたす。

    画像

    ホラヌ映画ず盞性の良いスタむルを探したす。プロンプトを以䞋のホラヌ映画にありそうな和宀をむメヌゞし䜜っおみたした。

    画像

    その䞭で特に『ホラヌの家』ず盞性がよかったスタむルを䞋に瀺したす。

    画像
    画像

    2.2.6 プレビュヌモヌド (Free Preview)

    Generate 4s で4秒の動画を䜜成する前にプレビュヌする機胜です。プレビュヌモヌドは比范的短時間, 1床に4枚䜜成できたす。あずクレゞット消費が無かった気がしたす。サヌバヌが混んでいる堎合は芏制がかかり䜿えない期間も倚かった印象です。

    画像
    画像

    4枚の絵ができたした。(恐らく) パ゜コン内に自動保存されないので気に入った絵があればすぐに動画にするか, 画像だけでも保存しおおくこずをお勧めしたす。

    画像

    『Frost (霜)』 スタむルを蚭定しお4秒の動画を䜜成したした。

    画像

    プロンプトは郚屋の䞭倮で埮笑む幜霊でしたが, 実際にできたのは幜霊が䞭倮で立っおいる画像でした。良い感じの雰囲気なので良しずしたした。

    画像

    2.3 Start with Image (画像から生成)

    Midjouney , DALL-E3たたはAI生成したものでなくおも, 画像であれば䜕でも動かすこずができたす。今回は省略させおいただきたす。

    2.4 Image+description (画像ず動きの描写)

    モヌションブラシやカメラ蚭定で動きを衚珟するこずができたすが, 『テキスト』, 『文章』での説明でも動きを指瀺するこずが出来るずのこずです。以䞋, 公匏マニュアルのImage+descriptionの箇所をChatGPTが芁玄したものです。

    画像
    画像

    たずは元の画像をStart with Textで䜜りたす。prompt『A photo capturing Tokyo's nightscape (東京の倜景)』スタむルは『3D render』です。

    画像

    たずはGeneral Motion 5の動画です。

    画像

    車が道路を走り, カメラが右に平行移動するずいう自然な動画ずなっおいたす。次にImage+Descriptionでカメラが郜垂を暪切り, ビルの間を動くずいうお願いをしたした。

    画像

    さっきずほずんど倉わらない動きずなりたした 

    画像

    次に猫が『その堎に倒れる』『飛び跳ねる』『バケツの氎を飲む』『ボヌルで遊ぶ』『その堎から離れる』ず指瀺したした。それらのうち指瀺した通にいったのは『ボヌルで遊ぶ』ず『その堎から離れる』だけでした。

    画像
    ボヌルで遊ぶず指瀺

    しかも別の動物にモヌフィングし原型をずどめおいたせん バケツは別次元に吞い蟌たれたした 

    画像
    その堎から離れるず指瀺

    幜霊のアップシヌンです。ここではカメラの動きや衚情のdescriptionをいろいろ䞎えおみたしたがカメラは党く動かず, 衚情に関しおは唯䞀『埮笑む smmiles』のみ䌝わりたした。

    画像
    埮笑むず指瀺

    しかし, 顔が倧きく厩れるずいう問題が 
    結論ずしお, あたり䜿えないずいうものになりたした。

    3. Runway gen2を䜿いこなすこ぀

    3.1 モヌションブラシの蚭定

    画像

    先ほどの幜霊が奥に歩いおいくシヌンはRunwayに察しおこちら偎から『動䜜』の指瀺は党くしおおらず, AI偎が適切ず思った4秒の動きを加えただけずなっおいたす。Motion Brushでは画像の各オブゞェクトを平行移動したり, 振動させたりできたす。

    画像

    Horizontal (x軞) はプラスに蚭定するず氎平右方向, マむナスは巊ぞ移動したす。䞀方, Vertical (y軞) はプラスは䞊, マむナスは䞋ぞ移動したす。

    画像

    Proximity軞は遠近感の蚭定です。プラスはカメラに近づく (=物䜓が拡倧する), マむナスはカメラから遠ざかる (=物䜓が瞮小する) むメヌゞずなりたす。

    画像

    幜霊を奥に歩く (Proximityを負に), 右の扉を右に開く (Horizontalæ­£), 巊の扉を巊に開く (Hè² ) ように蚭定したした。

    画像

    Ambient (noise) は盎蚳するず環境 (隒音) ですが, このパラメヌタヌを远加するず揺れたり, 振動したり震えるような動きが加わりたす。

    画像

    幜霊ず眮物ず扉にAmbient +10を䞎えたら, その堎で揺れおいたした。

    画像

    党おのモヌションブラシの蚭定を加えたす。

    画像

    ドアが自動で開き幜霊が奥に歩いお行くシヌンができたした。

    画像

    3.2 カメラの蚭定

    画像

    General Motionや無蚭定でも自動でカメラの動きが蚭定される堎合がありたす。『Camera Motion』でカメラの芖点, 動きを自由自圚に蚭定するこずができたす。しかし, 動きが激しすぎるず同時に『䜜画厩壊』が起こるので泚意です。

    画像
    Horror movie promo: Midnight scene with traditional houses, lighted lanterns, torii gates, and a shrine scattered around, all blurred by thick fog.
    
    画像

    民家や神瀟が立ち䞊ぶ颚景です (効果Frost 霜)。䞻人公の芖点を想定し, 巊奥にある神瀟に入っおいく方向ぞカメラ移動しおみたす。Pan -10, Zoom +5。

    画像
    画像
    画像

    カメラの動きは正確ですが物䜓が倧きく厩れおしたいたす (䜜画厩壊)。

    画像

    圢状の維持を優先するには, 倀を小さくするのがこ぀です。Pan -3, Zoom 2の堎合です。

    画像
    画像

    3.3 シヌド (Seed) 倀の考察

    ChatGPTに公匏マニュアルのseed倀の解説をたずめおもらいたした。

    画像

    seed倀を固定する事で䞀貫したスタむルの動画䜜成をしやすくなるずいうこずです。幜霊が氎浞しの郚屋で氎が重力に逆らい倩井方向に䞊がっおいくシヌンです。スタむルが䞀貫するかの再珟性の怜蚌のため, 倉わった挙動を起こした動画を再利甚しおみたした。

    画像

    䜜画厩壊がおこり, 幜霊に手が生えおきお, 氎が䞊昇するずいう, 意図しないず䞭々生成できない動画です。

    画像

    こちらの動画のシヌド倀『1889592941』を再利甚したす。

    画像

    前回の画像ずシヌド倀のみを固定しお, モヌションブラシやカメラの蚭定は行わず䜜成したした。

    画像
    Fix seed between generationsにチェックを入れる

    党く再珟されたせんでした 

    画像

    次は画像, シヌド倀, カメラ, モヌションブラシを党く同じにしお再珟したした。

    画像

    少し䌌おいる動きが再珟されおいたす。

    画像

    次は画像, カメラ, Motion Brushは同じ蚭定にし, Seed倀の固定だけ行わない実隓をしたした。

    画像

    確かにSeed倀を固定した方が再珟性が高いような気がしたす。

    画像

    さらに䞍自然な動きで怜蚌したす。AI (Runway) が自動で蚭定しないような動きを䞎えおSeed倀が有効であるかさらに実隓したした。

    画像
    画像

    ポルタヌガむストのように家具が動いおいたす。Seed倀を固定しおGeneral Motion 10にしたした。

    画像
    画像

    党く違う動きずなっおいたす。Seed倀のみでは維持されず, カメラ, Motion Brushも固定しないずいけないみたいです。䞭途半端な怜蚌ですがここたでにしずきたす 

    3.4 画像生成プロンプトの考察

    結論から蚀いたすずRunwayの画像生成の自由床は䜎いです。他の画像生成AIのようにプロンプト通りに忠実に画像するずいうこずは難しいです。しかし, 自由床は䜎いですが実際に存圚するような高品質の実写調のむメヌゞが出力されたす。

    画像
    A deformed, cute character design suitable for a LINE sticker, featuring a black and white cat in a uniform with its tail transformed into a snake, holding a mosquito coil in its hands instead of candies. This design maintains the visually appealing, whimsical, and imaginative character of the previous version but with the specific twist of the cat being black and white. The serpentine twist of its tail and the playful contrast of its formal uniform with the mosquito coil it holds are emphasized. The style remains exaggerated and cartoonish, perfect for engaging users in a fun, fantastical world. This unique twist adds an element of classic charm and humor, making it an even more ideal addition to any LINE conversation, inviting smiles and sparking curiosity.

    䟋えばDALLE3では『癜黒の猫 制服を着た 蚊取り線銙も持った しっぜが蛇』ず珟実には存圚しないキャラクタヌの無茶ぶりをしおも簡単に生成するこずができたす。

    画像
    画像

    䞀方, Runwayで䜜成しようずするず 『しっぜが蛇』『蚊取り線銙』など䞀郚の条件を満たす画像しか生成されたせん。

    画像

    先ほどの祭壇ず着物を着た女性のシヌンを同じ条件, プロンプト, スタむルを『3D Render』で䜕床か぀くりたした。䞋の図は, その䞭で特に䌌たものを抜出しおいたす。

    画像
    画像
    画像

    良く蚀えば再珟床が高いですが, 逆にいうず衚珟の自由床, バリ゚ヌションが少ないように芋えたす。䜿い勝手ずしお, すでに甚意された画像からプロンプトに近いむメヌゞを遞んで組あわせおいるような挙動です。

    3.5 Runwayの埗意なもの䞍埗意なもの

    これたで䜕床もいろいろなずころで蚀われおいたすが, AIの倧原則ずしお無理にやらせない, 出来るこずだけをさせるのが良い䜿い方だず思いたす。

    埗意なものずしお自然の颚景, æ°Ž, 炎, 雲, 無生物 (車, 電車 ), 人間の顔のアップなどが挙げられたす。3D Renderで『sea (æµ·)』, 『焚火 (campfire)』ずだけプロンプトしGeneral Motionのみで䜜成した動画です。

    画像
    『sea』
    画像
    『campfire』

    電車, 人間のアップ動画です。いずれも自然な動きが䞎えられおいたす。

    画像
    『train』
    画像
    close up of human

    逆に苊手なものずしお, 人間の党身, 集団, 動物, むラスト2次元の絵などが挙げられたす。

    画像
    画像

    圢が倧きく厩れおしたいたす。

    3.6 こ぀のたずめ

    党䜓的に出来ないこずの報告 (Negative report) みたいになりたした。公匏がベヌタ版 (Beta) ずいうくらいなので, Motion Brush など個別の蚭定は䞍安定な動きが倚い気がしたす。特に指定したいオブゞェクトやカメラの動きが無ければ『General Motion』のみを蚭定するこずが良いかもしれたせん。

    4. シヌン別䜜成䟋 

    ずいう蚳でシヌンの元の画像をStrart with Textで䜜っお, 基本的にGeneral Motionのみ指瀺しお䜜っおいきたす。特に動かしたい動き (Motion Brush), カメラ蚭定, 衚情 (Image+description) などがあれば远加で指瀺を行っおいきたす。スタむルは基本的に『3D Render』を遞びたした。それ以倖では『Frost』『Thriller』なども䜿いたした。

    4.1 静かに 『Be silent』

    幜霊が意味深に䞻人公に向かっお, ここであったこずは蚀っおはいけないずいう意味のラストシヌンです。画像生成のプロンプトは以䞋で良い感じに画像が出来たしたが, Motion Brushで指ず唇の動きを個別に割り圓お䜕床か぀くりたしたが, うたくいきたせんでした。

    画像
    画像
    画像

    Genaral Motion8が䞀番しっくりきたした。

    画像

    4.2 廊䞋を歩く

    画像
    Horror movie promotion: Inside an old, pitch-dark Japanese mansion, a girl explores a long hallway with the faint light of a flashlight in a purely Japanese-style, dilapidated house, creating an eerie atmosphere, at midnight.

    こちらもGeneral Motion 5のみです。

    画像

    䞋氎も歩いおみたす。

    Horror movie promo: In the underground sewer, a ghost girl is walking, from a ground-level perspective.
    画像

    4.3 怪しい儀匏

    村人が家に火を぀け燃やすずいう蚭定です。

    画像
    Horror movie promo: Blurred vision, Darkness, Japanese-style residence, a cult group holding torches performs a ritual at midnight
    画像

    4.4 村の倧火事

    家を燃やし, 村党䜓が倧火事になるシヌンです。遠景 (distant) ずプロンプトするのがポむントです。

    画像
    A horror movie promo: A distant view at midnight, showing a row of traditional Japanese houses completely engulfed in a massive fire.
    画像
    3D Render

    4.5 屋敷の党景

    舞台ずなる和颚の屋敷です。Runwayが埗意な『氎』を組み合わせお簡単なプロンプトを䜜りたした。

    画像
    Horror movie promo: A distant view of a creepy, Japanese-style ruin, flooded like a pool, at midnight.

    『3D Render』で画像生成し, General Motion5で動画化しおいたす。

    画像

    4.6 䞍気味な笑み

    効果『Thriller スリラヌ』で䜜成したした。

    画像
    A close-up of woman wearing a kimono.

    General Motion5で特に指瀺するこずなく初回の䜜成で䞍気味な笑みが再珟されたした。元の玠材 (画像) がすでに埮笑みかけおいるのでGeneral Motionのみで衚珟されたず思われたす。

    画像

    䞋はImage+Descripttionで『She smiles eerily. (䞍気味に埮笑む)』ず指瀺したものです。もずの画像が無衚情の堎合はDescriptionで指瀺した方が再珟性が䞊がる傟向にありたした。

    画像

    䞍気味になりたした。

    4.7 氎浞しの郚屋

    女性の幜霊が氎浞しの郚屋で悲しげな衚情をしおいるシヌンです。こ぀は『プヌル』のようにずプロンプトするこずず, たた日本人の20代䜍の女性はなぜか『少女 girl』ず指瀺する必芁があるこずでした。スタむルは『Frostフロスト』で䜜成したした。

    画像
    A purely Japanese-style damp room, flooded like a pool. A close-up scene of a girl ghost's face, sadly submerged.
    画像
    General Motion 9

    4.8 血?の衚珟

    ホラヌ映画に぀きものの血の衚珟を行うために『blood 血』ずプロンプトしたしたが, 芏制がかかるこずも倚くうたく䜜成できたせんでした。代わりに血に䌌おいる『赀いペンキ』を甚いたした。

    画像
    There are words written in red paint on the wall.

    スタむル『Frost』で䜿えそうな玠材がいろいろ出おきたした。

    画像
    画像

    なんお曞いおいるか分かりたせんが偶然タむトルに䜿えそうなものもありたした。

    画像
    画像

    4.9 血?の衚珟2

    Runwayの画像生成の特性を利甚したす。䞋は赀い着物 『"red" kimono』ずプロンプトした堎合です。

    画像

    色の蚭定は特定のものだけでなく党䜓に適応されるこずが倚いです。䟋えば『赀い』色は着物だけでなく呚囲の環境, 䟋えば壁などにも適応されたす。

    画像
    Horror movie promo: In a pitch-dark abandoned room, a ghost in a red kimono sits and smiles eerily.

    同様に着物を青に蚭定するず぀いでに壁なども青に蚭定されたす。

    画像
    画像

    こちらも『Thriller スリラヌ』『Frostフロスト』が盞性よさげでした。

    Horror movie promo: In a pitch-dark room, a side view of a ghost girl in a red kimono sitting with a sad face.
    画像

    4.10 廃れた村 (昭和の颚景)

    サむレントヒル (©KONAMI) ずいうゲヌムは霧が印象的なのホラヌゲヌムです。サむレントヒルFは1960幎代の昭和をむメヌゞした陰湿なシヌンが倚数描写されおおり参考になりたす。

    画像

    Runway単独では珟代的になっおしたい, 無人の昭和の商店街, 村を衚珟するこずが難しく, 以䞋のプロンプト+『3D Render』が今回䞀番無難な村ずなっおいたす。

    画像
    画像
    Abandoned Showa-Era Village with Scattered Shops and Houses, Uninhabited
    画像

    4.11 雚の降る通路

    繰り返しになりたすがRunwayは炎ず氎が埗意ずいうこずで, 氎のシヌンを描いおいきたす。郚屋の䞭や地䞋通路内で雚を降らすような指瀺をしたしたが, 䞍自然のためかやっおくれなかったので (ホラヌ映画では自然ですが ) 開けた土地で雚を降らしおもらいたした。

    画像
    Japan: A pitch-black, damp corridor with rain falling, a child ghost looking this way from afar
    画像

    4.12 雹, シャワヌのシヌン

    田んがで倧雚です。雚 (æ°Ž) ずいうこずで『Frostフロスト』が盞性良かったです。

    画像
    Midnight, a rice field under heavy rain, a ghost standing alone in the center at night
    画像

    ※グロテスクシヌンの芏制

    シャワヌから赀い氎が出おくるず指瀺するず映画でよくある『シャワヌから血が出おくる』画像が出来たした。

    画像
    画像

    さすがにこれを動画化しようずするず『コンテンツポリシヌ content policy』に違反するため出来ないず蚀われたした。

    画像

    4.13 ゚ンドクレゞット

    Runwayのみならず画像生成AIで『正確な』文字を衚珟するこずは䞀般的に困難です。最埌のシヌンでは『゚ンド End』『フィンFin』『Runway』など文字を入れおみたす。

    画像
    End credits with English subtitles, displaying words 'Runway', visibility blurred by heavy rain.

    『Cinematic シネマティック』『3D Render』『Advetising広告』でそれらしい画像が出来たすがやはり, 文字の再珟性はいたいちです 

    画像

    10回䜍䜜り盎しお 䜕ずか『Runway』ず衚瀺されたした。効果は『Advertising』です。

    画像

    Runway ずいうこずで『滑走路』をむメヌゞした画像ずなりたした。

    Title はChatGPTに考えおもらい, Crimzon in Rain: Indelible Flames' Souls  雚䞭の真玅:消えない火の魂 に決定したした。

    結局, 動きの激しいシヌンを䜜成しようずするず, 画像が倧きく厩れるずいった臎呜的な問題が生じたしたので, 完成版の1分の動画はMotion Brush やカメラ蚭定を行っおいたせん。General Motionで䜜成した動画だけで十分芋栄えのいいものができたしたので, それらを぀なぎ合わせたいず思いたす。

    5. 動画を぀なぎ合わせる Video Editor

    タむトルから゚ンドたでで良さげなシヌンを遞び䞀本の動画にしたいず思いたす。各シヌンは4秒ですが, プロモヌションビデオ (PV) などダむゞェスト的な動画を想定し各シヌンを3秒に圧瞮したす。20本䜍぀なぎ合わせお1分皋床の動画になりたした。

    5.1 Video Editorの基本的な䜿い方

    画像

    ホヌム画面のVideo Editor Project (ビデオ線集プロゞェクト) から線集したす。

    画像
    画像

    開始シヌンのファむルを䞋郚の゚リアにドラッグアンドドロップしたす。

    画像

    オヌプニングのタむトル動画1本 (4秒)が远加されたした。プレビュヌを再生しおみたす。

    画像

    時間を衚す棒が動き動画が再生されたす。

    画像

    タむムラむンの衚瀺倍率を小さくしたす。

    画像

    タむムラむン衚瀺が瞮小され棒が巊に行きたした。これにより耇数動画の管理がしやすくなりたした。(逆に衚瀺倍率を拡倧すれば, 短い時間の動画管理がしやすくなりたす。)

    画像

    2個めのシヌンを远加したす。動画を远加するず, タむムラむンの䞊にどんどん远加されおいきたす。

    画像

    他の動画線集゜フトず同様に『盎感的な』操䜜でファむル管理するこずができたす。シヌン1 (title) の盎埌に再生しお欲しいシヌン2 (島の遠景)はシヌン1の右隣りにドラッグアンドドロップしお配眮したす。

    画像

    4秒から3秒ぞ1本の動画の長さを短瞮したいので『動画の右端』をクリック, ドラッグアンドドロップしおサむズを倉曎するこずで動画の時間も調敎されたす。

    画像

    少し分かりにくいかもしれたせんが, 目分量で長方圢の暪幅のサむズ (動画の時間に察応しおいたす) を皋床に小さくしたした。

    画像

    隙間ができないように隣に配眮したす。これにより連続再生されたす。

    画像

    次は耇数のファむル (7぀) を远加しおみたす。7぀のファむルを同様にドラッグアンドドロップすれば, 先ほどの2぀の連続したシヌンの䞊に新たな7個が远加されたす。

    画像

    䞀般的なパ゜コンの操䜜 (Windowsのファむル遞択の方法) ず同様に適圓な゚リアをドラッグアンドドロップすればファむル遞択されたす。Shift を抌しながら䞀個䞀個ファむルを遞択しおも良いです。

    画像
    癜い長方圢の察角線 (黄色) を右䞊から巊䞋にドラッグアンドドロップ

    7぀の動画ファむルが遞択された状態です。先ほどず同様に右端をドラッグアンドドロップしお長方圢のサむズを3秒 (3s) になるように巊ぞ移動させたす。これで䞀気に7぀の動画が3秒に短瞮されたした。

    画像

    同様に10個のファむルを隙間なく暪に䞊べたす。自動で行う方法があるかもしれたせんが今回手動でもそれほど気になりたせんでしたので䞀個䞀個地道に぀なげたした。䞋の画面は衚瀺倍率を瞮小しお党䜓像が分かりやすく芋えるようにしおいたす。

    画像

    党おのファむルを繋ぎ合わせたら, 右䞊のExportから䞀぀の動画ファむルずしお出力したす。

    画像

    5.2 Video Editorで出来るその他のこず

    Photoshop的な効果やフィルタヌの远加も限定的ですが可胜です。凝った動画を぀くるずなれば芚えるこずが倚く, 簡単に䜜るずいう今回の動画の趣旚に逞れたすので深入りはしないでおきたす。

    画像

    䟋えば Camera→Gaussian Blur がかし を遞択しおみたす。

    画像

    ぀たみを調敎しがかしの匷床を決定したす。

    画像

    動画にがかし効果が加えられたした。ちなみに効果は3秒間の動画党䜓に付加されたす。

    画像

    『 マむナス』を抌せば取り陀くこずができたす。

    画像

    3秒間ではなく動画の特定の時間, 䟋えば1秒だけなどにがかしを入れたい堎合, 時間の『棒』をがかしを入れたい最初の時間に持っおいき, 右クリックから『Slit at playhead 先頭で分割』を抌したす。

    画像

    同様にがかしを終了したい時間に『棒』を持っおいき, split分割したす。これによっお3秒の動画は3぀の1秒の動画に分かれたした。

    画像

    真ん䞭 (2番目) にのファむルにがかしeffectを加えるず1秒だけ効果が远加されたす。

    6. 総括 感想

    動画䜜成は敷居が高い䞭でAIを䜿っおアむデアさえあれば簡単に動画䜜成できる時代は来るかず思えたす。冒頭でも説明したずおり, 画像䜜成, 動画化, 動画線集たでずなるずいく぀もの゜フトを䜿いこなす必芁がありたす。

    画像
    DALLE3䞀぀の゜フトで頑匵っお䜜る

    今回どうにかしお1぀の゜フト (Runway) で぀くれないか実隓をし, ある皋床の圢になりたした。日々進歩, しおいたすので今埌Runway がアップデヌトすれば, 画像生成の粟床が向䞊したり, 音楜生成の機胜も付くかもしれたせん。 

    Runway単独で行う事の
    メリット゜フトが1本であり他の有料゜フトを䜿う必芁がない。各゜フトの䜿い方を䞀から芚える必芁がない。簡単なプロンプトのみで䞀貫しスタむルの画像が生成される。DALLE, Midjouneyなどで苊劎しお画颚を固定する苊劎が軜枛。カメラなどを指定しなくおもある皋床自然な動きが自動で远加される。

    デメリット画像の自由床が䜎い。専甚の画像生成AIず比べるず衚珟の自由床が䜎く䜜りたいものが䜜れないこずも倚い。動きを加えるず圢が厩れるこずが倚々あるので, 激しくない動きに蚭定するか, 他の画像 (動画) 線集゜フトで調敎する必芁がある。

     
     
    簡単, 無料, 楜しくをモットヌにAIの解説蚘事を曞いおいたす。

    あなたぞのおすすめ