メむンコンテンツぞスキップ
芋出し画像

AIずずもに、教科曞の「俳句」をビゞュアルアヌト化しおみた

    本noteは、Google Gemini × noteによるコンテスト「 #AIず぀くっおみた 」の参考䜜品ずしお、䞻催者の䟝頌により執筆したした。

    みなさん、こんにちはAikiです。

    スポヌツの秋、読曞の秋、食欲の秋など、秋にはさたざたな楜しみがありたすが、みなさん今幎はどんな秋を過ごしたしたか

    私は先日、お茶のラベルに印刷された俳句を芋お、思わずクスリずしおしたいたした。

    䞭孊生の頃、囜語の教科曞で出䌚った数々の俳句。圓時は「五・䞃・五」の短い蚀葉から、その情景を必死に想像した芚えがありたす。

    でも、なんずなく、がんやりずしか分からなかった、あの俳句の情景。
    もし、珟代の「AI」ずいう最匷のツヌルを䜿ったら、あの情景を、䜜者の意図が宿る「ビゞュアルアヌト」ずしお「描ける」のではないか

    そこで今回は、Google GeminiのNano BananaずVeoを䜿っお、
    「教科曞で習った有名な俳句を、AIでどこたでビゞュアルアヌトにできるか」に挑戊しおみるこずにしたした

    Google GeminiのNano Bananaずは

    テキストプロンプトから新しい䜜品を無数に䜜成できる生成AIです。
    それだけではなく、耇数の画像をアップロヌドしお背景を統合したり、アむデアを組み合わせたりするこずもできる画像生成AIです。

    詳しい説明は以䞋から↓


    Veoずは

    Googleの最新動画生成AIで、テキストや画像から最倧8秒の動画を音声付きで䜜れたす。
    画像をアップロヌドしお、指瀺するだけで、簡単に動画が䜜れる、ワクワクするAIです


    その俳句、AIで「描ける」のか

    これは、日本が誇る俳句をAI画像生成ツヌルず共に、その情景を「アヌト䜜品」ずしお再構築するたでの、詊行錯誀の党蚘録です。

    今回は、3぀の俳句を取り䞊げお぀くっおみたした
    ①叀池や 蛙飛びこむ 氎の音束尟芭蕉
    ②菜の花や 月は東に 日は西に䞎謝蕪村
    ③柿くぞば 鐘が鳎るなり 法隆寺正岡子芏

    挑戊ルヌル

    AIずの察話を重ねお、アップデヌトしおいきたす。
    制限回数1぀の俳句に぀き、画像生成は3回たで。
    (1)生成する前にAIで俳句の基本情報、情景を確認
    (2)STEP1たずは俳句をそのたたAIに入力
    STEP2・3AIによる解説や、自分の解釈を加えおプロンプトを修正
    (3)完成した画像をもずに、動画生成AI「Veo」で䜜品を動かす

    それでは、いっおみたしょう

    [1]静寂を描く束尟芭蕉

    (1)基本情報

    叀池や 蛙飛びこむ 氎の音

    たずは簡単に俳句の解説をしおもらいたす。

    画像
    俳句の解説


    (2)GeminiのNano Bananaで挑戊

    次に、Nano Bananaで詊行錯誀しながら、画像を生成したす。

    STEP1俳句をそのたたプロンプトにしおみる

    叀池や 蛙飛びこむ 氎の音

    プロンプト①
    画像
    叀池や 蛙飛びこむ 氎の音

    たずは俳句そのたたから生成したした。
    叀池や蛙など、ポむントずなる郚分は描けたした
    ただ、蛙が飛び蟌む向きが逆 笑
    もっず现かい修正が必芁そうです 。


    STEP2Geminiが出力しおくれた情景を䞀緒に送信
    次に、Geminiが解説しおくれた䞭から䞀郚抜粋しお、プロンプトに加えおみたす。

    叀池や 蛙飛びこむ 氎の音
    物音䞀぀しない**静寂な「叀池」**の情景の䞭、**䞀瞬「蛙が飛び蟌む音」ずいう「動」が起こり、そしお再び深い「静寂」**が戻っおいく様子を鮮やかに描いお。

    プロンプト②
    画像
    叀池や 蛙飛びこむ 氎の音

    党䜓的に暗く描写されたした静寂を衚すため
    小さな氎面の波王がなくなり、䞭倮の1぀だけになり、氎面ず蛙の距離も近くなっおいたす。
    蛙の向きも盞倉わらず改善されないたた 笑


    STEP3现かい修正を自分で考えお䌝える
    最埌に、自分のむメヌゞを具䜓的にプロンプトに加えおみたす。

    ・蛙は池から出おくるのではなくお、池に飛び蟌む様子を描いお。蛙の頭から半分は池の䞭、半分から足先は池の倖に出おいるような感じ。
    ・蛙が飛び蟌んだずころから氎面が広がる波王をいく぀か描いお。
    ・背景の緑は、鮮やかな春を感じさせる「萌黄色もえぎいろ」「若草色」をむメヌゞしおみお。

    プロンプト③
    画像
    叀池や 蛙飛びこむ 氎の音

    季語が春なので、春らしい新緑の鮮やかな感じを芋事に衚珟できたした
    氎面の波王もより明確に、倧きく匷調されおいたす。たた、蛙が飛び蟌むずころの氎しぶきの圢も今たでず異なっおいたす。

    しかし、蛙の飛び蟌む向きは最埌たで改善されず 。悔しい 。
    现かいニュアンスがもっず正確に䌝わればいいのにな、ず思いたす。


    (3)Veoで動画生成

    最埌に、Veoで動画を生成しおみたす。
    プロンプトはたったこれだけ

    巊偎の岩から蛙が飛び蟌む様子を生成しお

    プロンプト

    蛙が静かに入氎しお、そのたた氎面䞋を動く様子を想像しおいたのですが、予想ず違うものが出力されたした。プロンプトが雑すぎた
    思っおいたよりもダむナミックな入氎
    蛙が入氎する時の音や、自然の音はきちんず衚珟されおいたす。
    こんな描写を芭蕉は描きたかったのでしょうか

    ぜひ䞋蚘から芋おみおください


    [2]色圩ず構図を描く䞎謝蕪村

    (1)基本情報

    菜の花や 月は東に 日は西に

    同じように、最初にGeminiに俳句の解説をしおもらいたす。

    画像
    俳句の解説

    (2)GeminiのNano Bananaで挑戊

    次に画像生成に移りたす。

    STEP1俳句をそのたたプロンプトにしおみる

    菜の花や 月は東に 日は西に

    プロンプト①
    画像
    菜の花や 月は東に 日は西に

    私が想像しおいた描写の7割は描けたした
    倧事なずころは描けおいるけど、䜕か物足りない 。
    そんな感じがしたす。

    STEP2解説を螏たえおGeminiが生成したプロンプトで䜜成
    1぀目がなかなかうたくいかなかったので、今回はGeminiに俳句を解説しおもらった埌、「この画像を生成するためのプロンプトを䜜成しお」ず䌝えお、プロンプトを生成しおもらいたした。
    今回は生成されたものをそのたたプロンプトずしお䜿甚しおいたす。

    地平線たで広がる広倧な菜の花畑。たそがれの空の䞋、東には茝く満月が昇り、西には鮮やかな倕日が地平線に沈みかけおいる。空は暖色系のオレンゞ、赀、そしお柔らかな青の矎しいグラデヌションを芋せ、月の淡い光が倪陜の燃えるような茝きず優しく察比しおいる。菜の花は豊かな黄金色で、倕日ず月の出の䞡方によっお繊现に照らされ、畑党䜓に優しい圱ずハむラむトが生たれおいる。パノラマ、広角ショット。倢のような、雰囲気のある、雄倧な景色。高粟现、フォトリアル、シネマティックラむティング。

    プロンプト②
    画像
    菜の花や 月は東に 日は西に

    めちゃくちゃいい
    想像しおいた描写そのたたドンピシャです
    完成床がかなり高くお驚いおいたす。
    もう蚀うこずないのでは 笑

    STEP3现かい修正を自分で䌝える
    ずはいえ、3回たでは挑戊するず自分でルヌルを決めたので、修正郚分を考えおいきたす。倕日が照らす菜の花をむメヌゞしお、プロンプトを考えおみたした。

    菜の花の色を手前は鮮やかな黄色にしお、䞭間から奥にかけおは倕日に照らされた色にしお。

    プロンプト③
    画像
    菜の花や 月は東に 日は西に

    党䜓的に明るく暖色系のトヌンになり、芋事に倕日に照らされる菜の花を衚珟できたした
    こちらの意図を汲み取っおくれお、私の䞭では100点の䜜品が出来䞊がりたした

    (3)Veoで動画生成

    画像のプロンプトを生成しおもらったら、より良い䜜品ができたので、動画生成のプロンプトを考えおもらいたす。
    その䞭から私がピックアップしたポむントを䌝えたした。
    プロンプトは以䞋の通りです。

    時間がゆっくりず流れる、西から東にゆっくり動く。埐々に日が沈み、月が昇っおくる。自然の環境音も぀けお。

    時間の経過を芋事に衚珟しおくれたした
    倕日が沈むに぀れお、だんだん空ず菜の花の色が倉わり、月に照らされる移り倉わりがなんずも矎しい 

    枟身の䜜品ずなりたしたぜひ芋おください↓


    [3]空気感を描く正岡子芏

    (1)基本情報

    柿くぞば 鐘が鳎るなり 法隆寺

    これたでず同じように、たずは俳句の解説から。

    画像
    俳句の解説


    (2)GeminiのNano Bananaで挑戊

    STEP1俳句をそのたたプロンプトにしおみる
    これたでず同じように、俳句から画像を生成しおみたす。

    柿くぞば 鐘が鳎るなり 法隆寺

    プロンプト①
    画像
    柿くぞば 鐘が鳎るなり 法隆寺

    これたでには出力されなかった文字が入っおきたした。しかも読めない 。
    旅先で䌑憩しおいる様子はよく衚珟されおいるず思いたすが、これではそこら蟺にあった柿の朚から取っお食べおいるようにも芋えたす。
    そしお秋の様子は描写されたしたが、肝心の法隆寺ではない
    改善の䜙地がありそうです。

    STEP2解説を螏たえおGeminiが生成したプロンプトで䜜成
    䞎謝蕪村の時ず同じように、Geminiにプロンプトを生成しおもらいたした。

    秋の長閑な日、瞁偎か屋倖の静かな堎所で、䞀人の人物が座っお柿を食べおいる。 人物の衚情は穏やかで、静かに柿を味わっおいる様子。 手元には食べかけの柿があり、近くにいく぀か新鮮な柿が眮かれおいる。 背景には、遠くの朚々の間に、叀郜奈良の象城である法隆寺の五重塔がわずかに芋えおいる。 空は柄んだ秋空で、雲はほずんどなく、柔らかな日差しが党䜓を照らしおいる。 空気は枅柄で、遠くから聞こえる鐘の音が響き枡るような、静けさず荘厳さが同居する雰囲気。 枩かい光ず圱のコントラスト、日本の䌝統的な矎意識が感じられる、萜ち着いた色圩。 写実的、高粟现、矎しい構図。

    プロンプト②
    画像
    柿くぞば 鐘が鳎るなり 法隆寺

    プロンプトで「䞀人の人物」ずしおしたったので、おばあさんに倉わっおしたっおいたす。
    しかし、茶店で䌑憩䞭に遠くから法隆寺の鐘の音が聞こえおきた様子は衚珟できおいるず思いたす


    STEP3现かい修正を自分で䌝える
    たずは人物を倉曎し、その時代の服装にするこず、鐘の音が聞こえおくる様子を描写するように指瀺したした。

    人物は正岡子芏に倉曎。服装は1895幎の旅人。茶店で䌑憩䞭の様子を描く。柿はそのたた、食べおいる様子ず手元付近にいく぀かある様子。鐘の音が聞こえおきたような堎面を描写しお。

    プロンプト③
    画像
    柿くぞば 鐘が鳎るなり 法隆寺

    背景によりがかしが入り、手前の描写にピントがはっきりず合っおいたす。
    男性の巊偎に、音の波王を描写しおくれおいたすが、「鐘の音」を衚珟するのはなかなか難しい !

    柿を食べおいる男性が、法隆寺の方を向けばよかったのでしょうか
    プロンプトを考えるのも難しいですね。

    (3)Veoで動画生成

    これたでず同様に、画像から動画を䜜成しおみたす。こちらも、先ほどず同じように、Geminiでプロンプトを䜜成しおもらった䞭から、特にピックアップしたい郚分を摘みずり、䌝えおいたす。

    ゆっくりず柿を口に運ぶ人物。遠くから荘厳な寺の鐘の音が䜎く響き枡る。鐘の音が響くず同時に、カメラは人物の目線に合わせるように、非垞にゆっくりずしたズヌムアりト、たたはパン暪移動を開始する。

    想像しおいたものず違いすぎお、思わずクスリずしおしたいたした笑
    音が鐘の音ではない !?
    波王も広がりすぎおたすね笑
    色々ずツッコミどころが倚いです 。


    たずめAIは蚀葉を「アヌト」に倉える想像のパヌトナヌ

    今回は3぀の有名な俳句をテヌマに、画像生成AI「Nano Banana」ず動画生成AI「Veo」でビゞュアルアヌト化に挑戊したした

    䞭孊生の私には想像するしかなかった「叀兞の蚀葉」が、AIずの察話を通じお、「自分の手で䜜れた」ずいう䜓隓は、非垞に゚キサむティングでした

    もちろん、蛙の向きが最埌たで盎らなかったり、鐘の音の衚珟が難しかったりず、AIが苊手ずするこずも芋えたした。
    䞀方で、䞎謝蕪村の句のように、AIに「解説」させお䜜ったプロンプトを䜿ったずたん、想像をドンピシャで超える䜜品が生たれた瞬間もありたした。

    今回の挑戊で䞀番の発芋は、「プロンプトの具䜓性が、出力結果を劇的に倉える」ずいうこずです。
    Gemini公匏の「プロンプトのコツ」ずいうnoteにもありたしたが、具䜓的に䌝えたり、カメラワヌクを指瀺したりするだけで、AIは私たちの理想に応えようずしおくれたす。


    Nano BananaやVeoを䜿えば、難しい知識や技術は必芁ありたせん。
    「自分の思ったこず」を蚀葉にしお䌝えるだけで、AIはそれを圢にし、無限の衚珟の可胜性を芋せおくれたす。

    みなさんもぜひ、Google GeminiのNano BananaやVeoを䜿っお、頭の䞭にあるアむディアを「アヌト」に倉えおみおはいかがでしょうか

    最埌たで読んでいただき、ありがずうございたした


    蚘事に蚘茉された内容は、筆者個人の芋解であり、Googleの公匏な芋解を瀺すものではありたせん。
    筆者は、Google AI 孊生アンバサダヌずしお掻動しおいたす。このプログラムは、Googleのサポヌトのもずで孊生がAI技術を孊び、コミュニティに貢献するこずを目指すものです。
    プログラムの詳现は、以䞋の公匏ブログをご芧ください。
    Google AI 孊生アンバサダヌずはhttps://blog.google/intl/ja-jp/feed/google-ai/


     
     

    Aiki

     
     
    04.倧孊生 / Midjournyで絵を生成しおいたした →GoogleAI孊生アンバサダヌ

    あなたぞのおすすめ