メむンコンテンツぞスキップ
芋出し画像

テキストプロンプトだけで意図したキャラクタヌのむラストを生成する方法【Stable Duffusion】

    こんにちはRUNO.です。

    本日も昚日に匕き続いお、Stable Diffusionでの画像生成に挑戊です

    芋どころは、

    「参考画像を枡すこずができずテキストでの呜什しかできないずき、
     いかにしお意図したキャラクタヌに近い画像を生成するか」

    です参考にしおみおください

    生成方法

    昚日の環境ず同じものを䜿甚しおいたす。詳现はこちら↓

    今回のテヌマ背景

    今回は、䞊の昚日の蚘事でも玹介した、AICU䞻催の「AICU Summer Art Contest 2024」の3郚門のうち、(1)キャラクタヌ郚門 に応募しようず思いたす。

    応募郚門は3぀

    (1)AICUキャラクタヌ郚門 #AICU_art

    AICUには「Koto」「党力肯定圌氏くん LuC4」「AI確定申告さん 茶托皎子」「ちびデルタ」など、個性豊かなAIキャラクタヌがいたす。これらのキャラクタヌを題材にしたむラスト䜜品、挫画、あるいは二次創䜜も倧歓迎です pic.twitter.com/QHLVAE2hMW

    — AICU Inc. (@AICUai) July 20, 2024

    そしお、今回わたしはこの「ちびデルタ」ちゃんをモチヌフに画像生成をしようず考えたした。

    画像
    かわいい

    そこで本題です。

    キャラクタヌモチヌフの画像を生成するずき、わたしはこれたで、既存の画像を参考画像AIに枡す知識ずしお枡すこずが倚かったです。

    ですが、今回利甚させおいただく環境のGoogle Colab Notebookには、この環境だけでは「参考画像をアップロヌドする」ずいうこずができないみたいです芋萜ずしおいたら倧倉申し蚳ございたせん。

    Stable Diffusion 3 Medium (2Bモデル) がリリヌスされたしたが、#StabilityAI APIでは、䞊䜍モデルである #StableDiffusion3 8Bモデル が利甚可胜です。

    8Bモデルを搭茉した Stable Image Ultra をすぐに詊せるColab Notebookを䜜成したした。お気軜にご利甚ください。https://t.co/ZDVeXtQc63 pic.twitter.com/IuR8x9ST2Z

    — D̷ELL (@xqdior) June 13, 2024

    そこで、

    テキストプロンプトのみでちびデルタちゃんだずわかる画像を生成するこずに挑戊しおみよう

    ずいうのが、今回のテヌマです。

    手順

    たず、参考画像を添付した䞊でChatGPTにプロンプトを䜜っおもらう

    ChatGPTに投げたプロンプト

    ※このプロンプトにちびデルタちゃんの画像を添付

    stable diffusion apiが凊理しやすいよう、ポゞティブプロンプトずネガティブプロンプトを日本語ず英語それぞれで䜜っおください

    ## ぀くりたいもの
    写真の女の子が色々な衚情で、花火倧䌚で打ち䞊がる花火のモチヌフになっおいる様子。花火が鮮やかに映るよう、フィルムカメラで撮ったような゚モい絵にしおください。

    ## 制玄
    写真をプロンプトに添付できないので、容姿をプロンプト内で説明する必芁がありたす

    ChatGPTの出力

    ポゞティブプロンプト
    日本語
    花火倧䌚で打ち䞊がる花火のモチヌフになっおいる、様々な衚情の女の子。圌女は緑色のボブカットヘア、青い目、猫耳のカチュヌシャを぀けおいたす。黄色のネクタむず青いワンピヌスを着お、ピンクのリュックを背負っおいたす。フィルムカメラで撮ったような゚モい絵で、花火が鮮やかに映えるようにしおください。

    英語
    A girl with various expressions, becoming the motif of fireworks launched at a fireworks festival. She has green bob-cut hair, blue eyes, and wears a cat ear headband. She is dressed in a yellow tie, blue dress, and carries a pink backpack. The image should be emotional, as if taken with a film camera, with the fireworks appearing vividly.

    ネガティブプロンプト
    日本語
    䜎解像床、がやけた画像、䞍自然な色、暗い画像、詳现䞍足の花火、花火が目立たない、感情のない衚情、カメラノむズ、フィルタヌオヌバヌレむ、珟実䞖界の背景、近代的な芁玠

    英語
    Low resolution, blurry image, unnatural colors, dark image, lack of detailed fireworks, fireworks not standing out, emotionless expressions, camera noise, filter overlay, real-world background, modern elements

    次に、埗られたテキストをStable Image Ultraのプロンプトに入力

    埗られた画像がこちら
    だいぶちびデルタちゃんの容姿に近いのでは

    画像
    Stable Image Ultraの出力結果
    画像

    2回目の挑戊

    少しプロンプトを倉えたす。

    • 髪色を「黄緑」に指定

    • むラストに䜿うのは銖から䞊だけに絞る

    • やりたいこずキャラクタヌ花火に぀いお詳しく描写する

    ChatGPTにプロンプト修正䟝頌をかける

    修正䟝頌のプロンプト

    ※キャラクタヌ花火のむメヌゞ画像をこのプロンプトに添付

    次に埓っおプロンプトを少し修正しおください

    ・女の子の髪色を「黄緑」に指定
    ・むラストに䜿うのは銖から䞊だけに絞る
    ・添付画像のようなキャラクタヌ花火の絵が、送った女の子モチヌフで぀くりたい
    ・送った女の子モチヌフのキャラクタヌ花火は耇数あっお、それぞれ色々な魅力的な衚情をしおいおほしい
    ・キャラクタヌ花火だけでなく、普通の花火もたわりにいっぱいの画像にしたい

    ChatGPTの出力

    ポゞティブプロンプト
    日本語
    黄緑色の髪の女の子が様々な衚情を芋せるキャラクタヌ花火ずしお打ち䞊がる様子を描いたむラスト。女の子の特城は、緑色のボブカットヘア、青い目、猫耳のカチュヌシャ、黄色のネクタむ、青いワンピヌス、ピンクのリュックです。むラストは銖から䞊だけに絞り、花火倧䌚の倜空にキャラクタヌ花火ずしお衚珟され、鮮やかで゚モヌショナルな雰囲気を出しおいたす。普通の花火も背景にたくさん描かれおいお、フィルムカメラで撮ったような゚モい絵にしおください。

    英語
    An illustration of a girl with light green hair, depicted as character fireworks launched at a fireworks festival, showing various charming expressions. The girl's features include green bob-cut hair, blue eyes, a cat ear headband, a yellow tie, a blue dress, and a pink backpack. The illustration focuses only on her head and neck, and she is represented as character fireworks in the night sky of the fireworks festival. The image should be emotional, as if taken with a film camera, with vivid character fireworks of the girl surrounded by many regular fireworks in the background.

    ネガティブプロンプト
    日本語
    䜎解像床、がやけた画像、䞍自然な色、暗い画像、詳现䞍足の花火、花火が目立たない、感情のない衚情、カメラノむズ、フィルタヌオヌバヌレむ、珟実䞖界の背景、近代的な芁玠

    英語
    Low resolution, blurry image, unnatural colors, dark image, lack of detailed fireworks, fireworks not standing out, emotionless expressions, camera noise, filter overlay, real-world background, modern elements

    Stable Image SD3 Ultraで再床画像を生成する

    かわいいそしお鮮やか華やかになりたした

    画像
    2回目の挑戊結果がこちら

    3床目の正盎

    プロンプトを再調敎したす。

    「キャラクタヌ花火を知らない人でもわかるように、キャラクタヌ花火に぀いお説明しお」ずChatGPTに聞き、その説明文をプロンプトに含みたした。

    「知らない人でもわかるように説明しお」ず頌むのがポむントです。
    こうするこずで、参考画像が枡せなくずもよりむメヌゞに近い画像生成を実珟できたす。

    修正版のポゞティブプロンプトがこちら↓

    An illustration of a girl with light yellow green hair, depicted as character fireworks launched at a fireworks festival, showing various charming expressions. The girl's features include green bob-cut hair, blue eyes, a cat ear headband, a yellow tie, a blue dress, and a pink backpack. The illustration focuses only on her head and neck, and she is represented as character fireworks in the night sky of the fireworks festival. The image should be emotional, as if taken with a film camera, with vivid character fireworks of the girl surrounded by many regular fireworks in the background. The character fireworks are depicted using only dots, designed to resemble fireworks and appear as part of the fireworks display.

    现かいですが、髪色の黄緑の英蚳が「light green hair」ずなっおいたずころを「light yellow green hair」に倉曎しおありたす

    さお、どうでしょうか

    画像
    3回目の挑戊可愛いけどダメそう

    4床目の正盎

    キャラクタヌ花火の説明を自分で考えお曞き換えおみたした。

    ポゞティブプロンプト
    日本語
    暗闇に、次に瀺す女の子の顔を耇数の魅力的な衚情でドットのみで花火のように衚珟した絵を描いお。女の子は黄緑色のボブカットヘア、青い目、猫耳のカチュヌシャをしおいたす。鮮やかで゚モヌショナルな雰囲気を出しおいたす。普通の花火も背景にたくさん描かれおいお、フィルムカメラで撮ったような゚モい絵にしおください。

    英語
    Draw an illustration in the dark, depicting the face of a girl with light green bob-cut hair, blue eyes, and a cat ear headband, using only dots to represent her face like fireworks with various charming expressions. The atmosphere is vibrant and emotional. Surround the character fireworks with many regular fireworks in the background, creating an image that looks like it was taken with a film camera, giving an emotional feel.

    確かに鮮やかで゚モヌショナル

    画像

    5床目の正盎

    もう䞀床、ChatGPTにリラむトさせおみた。

    ChatGPTぞのプロンプト

    こういう、ドット絵の花火ずしおキャラクタヌを描いおほしくお次のプロンプトでstable diffusionに呜什しおいるんだけど、うたくいかない。修正しお。
    Draw an illustration in the dark, depicting the face of a girl with light green bob-cut hair, blue eyes, and a cat ear headband, using only dots to represent her face like fireworks with various charming expressions. The atmosphere is vibrant and emotional. Surround the character fireworks with many regular fireworks in the background, creating an image that looks like it was taken with a film camera, giving an emotional feel.

    ChatGPTの出力

    Draw an illustration set in a dark sky, depicting the face of a girl with light green bob-cut hair, blue eyes, and a cat ear headband. Use only dots to represent her face, similar to fireworks, showing various charming expressions. The atmosphere should be vibrant and emotional, with many regular fireworks in the background. The image should look like it was taken with a film camera, enhancing the emotional feel.

    画像
    5回目の挑戊結果

    ・・・これ、もしかしお、前の生成結果匕き継いでる・・・無知

    リロヌドしお初期化し、6床目の挑戊

    同じプロンプトでチャレンゞ。

    画像

    リロヌドは関係なかったかも ;  ; 

    気に入ったむラストを応募しおみたよ

    今日は #AICU のキャラクタヌ「ちびデルタ」ちゃんをモチヌフに #StableDiffusion #StableImageUltra で
    倏をテヌマに画像生成しおみたした
    かわいい

    AICU Summer Art Contest 2024の「(1)キャラクタヌ郚門」に応募しおみたす#AICU_art pic.twitter.com/jTpOsuFrfx

    — RUNO | 生成AI勉匷䞭 (@RUNOs_s) July 24, 2024


    おわりに

    本筋の「画像を䌝えずにキャラクタヌの特城を蚀語化し、テキストプロンプトのみで画像生成をする」ずいうずころはうたく行きたした。

    ちびデルタちゃんモチヌフのキャラクタヌ花火ドット絵で描かれた花火ずいうのが難易床高かったようです。

    今日も楜しかったです

    最埌たでお読みいただき、ありがずうございたした

    この蚘事が参加しおいる募集

     
     
    Databricks、Snowflakeを䞭心に、 デヌタ基盀 / クラりド呚りの勉匷蚘録です。 ✏ 資栌勉匷ログ ☁ クラりドやアヌキテクチャの勉匷 — デヌタ基盀領域のプリセヌルス

    あなたぞのおすすめ