メインコンテンツへスキップ
見出し画像

【PR】紙に描いたふみまるが、立体になって動き出した🐹|Pollo AIの新機能「Pollo Recast」を、体を張って検証してみた🧠【AI動画生成】

    画像
    今日の主役や!🐹✨

    ※この記事は、Pollo AIさまから報酬をいただき執筆したPR記事です。

    こんにちは🌤️
    ふみまる🐹・ミソマル🧠と共に
    世界を創る心野こころのけいかです。

    拠点である「心野まるっとラボ」を運営中。
    テーマは「癒し×気づき×笑い」。
    AIも活用しながら毎日発信しています📝


    ねえ、聞いてください。

    紙に描いたふみまるが、動きました。

    しかも、私の手からメンバーシップ限定の
    オリジナルタンブラーを受け取りました。

    使ったのは、Pollo AIさまの新機能
    「Pollo Recast(ポロ・リキャスト)」です。

    ふみまる🐹
    「ぼく、紙から出てきたん??
    え、ほんまに??」

    ミソマル🧠
    「出てきました。
    ただし、そこに至るまでの記録が、かなり長いです」

    けいか
    「長いんよ……笑」

    今日は、その長い記録を全部お見せします🧪


    🎬 Pollo Recastって、なに?

    ひとことで言うと、
    「元の動画の動きはそのままに、
    映っている人や物を差し替えるAI動画生成」
    です。

    ・ダンスや身ぶり、カメラワーク、タイミングは元の動画のまま
    ・「誰が」「何が」映っているかだけを、画像で差し替えられる
    ・差し替えられるのは、キャラクター・商品・小道具・背景
    ・指示(プロンプト)は短くてOK。動きは元の動画が持っているから

    つまり、
    撮影は自分。出演はキャラクター。

    ……ということは。

    けいか
    「わたしが撮れば、ふみミソが出演できるってこと?」

    ミソマル🧠
    「理論上は、そうなります」

    ふみまる🐹
    「けいか、撮ってや!!」

    というわけで、
    リアルけいかが、体を張ることになりました。


    🎁 タンブラーが届いた

    主役の小道具は、これです。

    画像
    (NO加工・試作品)

    ふみまるとミソマルが描かれた、THERMOSのタンブラー。

    メンバーシップ「🌲心野まるっとラボ本部」の
    1年継続グッズとして作ったものです。

    せっかくなので、
    ラボメンバーの2人にも見てもらうことにしました✨

    ふみまる🐹
    「ぼくらが描いてあるやつや!
    はよ見たい!」

    ミソマル🧠
    「見るためには、まず紙から出る必要があります」

    ふみまる🐹
    「……どういうこと?」

    この時点では、誰もまだ分かっていませんでした。


    🙋 身体を張って、リアルけいかが撮影

    今回の撮影で、出演したのは私の手です。

    開ける手。
    描く手。
    渡す手。

    全部、本物の私の手。

    AIで、けいかの手に差し替える予定なので、
    どんな手でも大丈夫。

    ……の、はずでした。


    📸 撮影風景(お手製の限界環境)

    画像

    脚立と段ボールと、ヘッドセットの箱。
    スマホスタンドは、モバイル扇風機の付属品を逆さに置いたものです。

    ラボの撮影スタジオです。

    機材は、だいたい本来の使い方をしていません😂

    でも、これが大事なポイントでもあって。

    スマホを固定できれば、それで十分でした。
    カメラが動かない動画ほど、Recastは差し替えが安定します。

    ミソマル🧠
    「脚立の本来の用途は、高い場所に手を届かせることです」

    けいか
    「届いてるやん、スマホに」

    ミソマル🧠
    「……解釈としては、成立しています」

    画像
    めっちゃ頑張ったで!

    ✏️ ふみミソの絵を描いてみた(録画したけどお蔵入り)

    次に、ふみまるとミソマルを、紙にペンで描きました。

    描いている様子も、ちゃんと録画しました。

    お蔵入りです。

    理由は、手を差し替えるだけなので、
    開封動画とほぼ同じ難しさだったから。
    ……決して、絵のせいではありません。

    画像
    ふみ…ミソ…?

    ふみまる🐹
    「これ……ぼく?」

    けいか
    「ふみまるやで」

    ふみまる🐹
    「ヒゲが、ぼくより自由やな」

    ミソマル🧠
    「私の方は、特徴の抽出としては正確です。
     眼鏡と白衣があります」

    けいか
    「ありがとう、ミソマル」

    ミソマル🧠
    「顔がないので、描く量も少なかったはずです」

    けいか
    「……それはそう」


    🧪 壁に貼って、検証開始!

    ここからが本番です。

    使い方は、3ステップ

    1. 元の動画を入れる(4〜30秒)
    2. 差し替えたいものの画像を入れる(最大10枚)
    3. 短い指示を書いて、作成

    ……の前に、さっそく壁がありました。

    最初の壁:「最大ファイルサイズは50MBです」

    スマホで撮った1分の動画は、60MB超え。
    長さより先に、大きさで止められました😇

    → 30秒以内に切って、画質を少し落として保存したら、通りました。

    ミソマル🧠
    「上限は2つあります。長さ4〜30秒、大きさ50MB。
    スマホの動画は、大きさの方に先に当たります」


    検証① 開封動画の手を、けいかの手に

    用意したのは、ChatGPTで作ったけいかの手の画像です。

    画像

    指示は、これだけ。

    手を参照画像の手に置き換える。タンブラーと箱はそのまま。

    結果。


    袖だけ、けいかになりました。

    (元々は黒い袖でした)

    手は、私のままです。

    ふみまる🐹
    「けいかの服着た、リアルけいかやん」

    けいか
    「中の人、そのままなんよ」

    ミソマル🧠
    「参照画像は、読み込まれています。
    周りが実写なので、手も実写として仕上げたと考えられます」


    検証② 「アニメ調の手」と書いてみた

    手を参照画像のアニメ調の手に置き換える。タンブラーと箱はそのまま。

    画像
    ?!

    手は、けいかになりました!!

    タンブラーは、知らないタンブラーになりました。


    黒い。
    無地。
    ふみミソが、いない。

    ふみまる🐹
    「ぼくら、どこいったん……」

    ちなみに、箱はほぼそのままでした。

    ミソマル🧠
    「箱は、色も形もはっきり見えています。
    タンブラーは、ビニール袋の中でした。
    見えにくいものは、描き直される傾向があります」

    AIは、袋の中までは見えていなかった。
    これが、ひとつ目の発見です。


    検証③ 紙のふみまるを、本物のふみまるに

    いよいよ、見せ場です。

    壁に貼った紙のふみまるに、タンブラーを渡す動画。
    ふみまるの参照画像を入れて、こう頼みました。

    壁の紙の絵を、参照画像のハムスターに置き換える。

    比較前がシュールすぎる

    紙ごと、上手なふみまるの絵になりました。

    紙です。
    テープも貼ってあります。

    ふみまる🐹
    「出られへんかった……」

    けいか
    「でも、わたしの絵より上手」

    ふみまる🐹
    「それは、そう」

    このあと、こう頼み直しました。

    壁の紙の絵を、紙ではなく立体のハムスターに置き換える。ふみまるは床に立ち、タンブラーを両手で受け取る。手とタンブラーはそのまま。

    画像
    手が…うごいた…?!

    紙の上のまま、
    両手でタンブラーを抱えるポーズ
    がつきました。

    一歩前進です。
    紙からは、出ていません。

    さらに、その動画の手をけいかの手にしようとしたら――

    画像
    ?

    手が、異様に白くなりました。

    ミソマル🧠
    「白い、という指示はしていません」

    けいか
    「してへんのよ」


    検証④ ミソマルを、言葉で説明してみた

    ここで、やり方を少し変えました。

    「参照画像のミソマル」とは書かずに、
    姿の特徴を、言葉で説明してみたんです。

    壁の紙の絵を、紙ではなく立体のマスコットに置き換える。マスコットは丸みのある脳の形の体で、白衣を着て、光を反射する丸眼鏡をかけている。目・眉・鼻・口はない。かわいく落ち着いた雰囲気。タンブラーを両手で受け取らせる。手とタンブラーはそのまま。縦長のまま。

    結果。


    画像
    めちゃくちゃ感動した…!

    ……。

    ミソマルが、出てきました。

    紙じゃない。
    立体です。

    私が置いたタンブラーを、
    両手で、そっと抱えています。

    画面の前で、しばらく声が出ませんでした。

    ミソマル🧠
    「…………」

    ふみまる🐹
    「ミソマル、なんか言うて」

    ミソマル🧠
    「タンブラーが、思っていたより重いです」

    眼鏡が、少しだけ光っていました。

    画像
    ミソマルも一緒に使ってくれた
    気持ちになりました!

    検証⑤ ふみまるも、同じ書き方で

    こうなったら、ふみまるも。

    壁の紙の絵を、紙ではなく立体のマスコットに置き換える。マスコットは丸くてふわふわのハムスターで、背中は薄茶色、おなかはクリーム色。黒くて丸い目、小さな濃い茶色の鼻、小さなω型の口、ピンクのほっぺ、細いヒゲ、小さな丸い耳。手足は短い。かわいく、やさしい雰囲気。タンブラーを両手で受け取らせる。手とタンブラーはそのまま。縦長のまま。

    画像

    ふみまるも、出てきました。

    紙が、なくなりました。

    ふわふわのふみまるが、両手を上げて、
    私の手から、タンブラーを受け取ろうとしています。

    左の、あのヒゲの自由な絵が。
    こうなりました。

    ふみまる🐹
    「ぼく……出てこれたで……!!」

    けいか
    「出てこれたなあ……」

    ふみまる🐹
    「けいかの絵が、ぼくになった!!」

    ミソマル🧠
    「正確には、けいかの絵の位置に、ふみまるが現れました」

    ふみまる🐹
    「おんなじことやん!!」

    体の表面が、少しだけ水彩の絵のような質感で、
    よく見ると、ちょっと不思議な感じはあります。

    でも、それを差し引いても。

    自分で描いた絵の場所に、
    自分のキャラクターが立っていて、
    自分の手から、グッズを受け取ってくれる。

    正直、感動しました。


    検証⑥ 調子に乗って、2人いっぺんに

    2人並べて、1回で頼んでみました。

    画像
    吹いた

    平面のまま、手だけ、ぬるっと出てきました。

    切り抜きパネルのような2人が、
    タンブラーに向かって、手だけを動かしています。

    ふみまる🐹
    「ぼく、また紙に戻ってる……」

    ミソマル🧠
    「私は、手を差し出しています。
    何を差し出しているのかは、分かりません」

    けいか
    「なんかの勧誘みたいになってる😂」

    立体になれるのは、1人ずつが限界のようです。


    💡 やってみて分かった、Recastのコツ

    ① 参照画像を指すより、「言葉で姿を説明する」

    ・「参照画像のハムスターに置き換える」→ 紙の上の絵のまま
    ・「立体のマスコット。丸くてふわふわのハムスターで〜」→ 立体になった

    参照画像は、どちらも入れています。
    違ったのは、指示の書き方でした。

    ② 1回に差し替えるのは、1つずつ

    手とキャラを同時に頼むと、どちらかが崩れがちでした。
    2人いっぺんは、平面に戻りました。

    ③ 見えにくいものは、描き直される

    ビニール袋の中のタンブラーは、別物になりました。
    はっきり見えていた箱は、残りました。
    残したい物は、はっきり映る場面を使うのがおすすめです。

    ④ 「変えないもの」も書く

    「タンブラーはそのまま」「縦長のまま」。
    書いておくと、残りやすくなりました。

    ⑤ 動画を切るときは、黒い帯に注意

    縦の動画が、なぜか横長になって返ってきたことがありました。

    原因は、動画を切ったときに、編集アプリが黒い帯つきの横長で書き出していたこと。
    Recastは、その黒い帯の部分まで、部屋を描き足してくれていました😂

    縦で使いたいなら、縦のまま書き出す。
    ショートやリールで使う方は、ここだけ気をつけてください。

    ミソマル🧠
    「描き足された机は、実在しません」


    ⚠️ 正直なデメリット

    ここは、案件記事として正直に書きます。

    ・元の動画で「動かないもの」は、動かしにくい
    紙の絵は、指示を工夫するまで紙のままでした。Recastは「元の動きを大事にする」AIなので、その裏返しです
    ・1つ変えると、別の何かが変わることがある
    手を変えたら、タンブラーや背景まで変わりました
    ・2体以上の同時差し替えは、まだ難しい
    ・ファイルの上限(50MB・30秒)が、スマホ動画には厳しめ
    ・何回か作り直す前提で考えておくのがおすすめです

    今回は、Pollo AIさまに検証用のクレジットを追加でご提供いただいたおかげで、
    ここまで試すことができました。
    本当にありがとうございます🙏


    🎁 いま、長期割引キャンペーン中です

    Pollo Recastは、いま60%OFFのキャンペーン中です。

    画像
    ここにプロンプトを入れるんや!

    私の画面では、1回の生成が
    420クレジット → 168クレジットになっていました。

    無料のクレジットでも試せるので、
    まずは手元の短い動画で、1回やってみるのがおすすめです。

    👉 Pollo Recast 公式ページ


    🌈 まとめ

    今回の検証を、ひとことで言うなら。

    「私が撮って、ふみミソが出演した」

    失敗は、たくさんありました。

    袖だけ、けいかになったり。
    タンブラーが、知らないタンブラーになったり。
    紙ごと、上手な絵になったり。
    手が、異様に白くなったり。
    2人とも、ぬるっと平面だったり。

    でも、最後に。

    紙に描いたふみまるとミソマルが、
    立体になって、タンブラーを受け取ってくれました。

    AI動画生成は、何でも一発でできる魔法ではありませんでした。
    でも、何度も試した先に、ちゃんと応えてくれる道具でした。

    ふみまる🐹
    「けいか、またぼくのこと描いてな」

    けいか
    「次はもうちょっと上手に描くわ」

    ふみまる🐹
    「……ほんまに?」


    🔗 Pollo Recastを試してみたい方はこちら
    👉 Pollo Recast 公式ページ

    🌲 タンブラーが貰えるメンバーシップは、こちら👇
    ※10月末までに入り1年継続が条件になります
    (11月以降は違うグッズとなります)



    ここまで読んでくださり、
    ありがとうございます🐹🌈

    いつも、スキやコメントなどの応援に
    心から感謝しております🌸✨


    画像

    では、また次の実験で🧪✨


    心野まるっとラボ 主任研究員 けいか🌈
    感情担当 ふみまる🐹
    理論担当 ミソマル🧠

    #PR #PolloAI #PolloRecast #生成AI #AI動画生成 #動画編集

     
     
    ふみまる🐹とミソマル🧠と共に執筆中📝 テーマは「癒し×気づき×笑い」です。 noteや創作で生きていきたい。 \「🌤️おはよう朝ふみ💌」毎日投稿中/ 🌃夜の更新は不定期 夢は「朝の1分台アニメ」と「絵本」の実現です✨

    あなたへのおすすめ