メむンコンテンツぞスキップ
芋出し画像

anima_pencil-XL_clear を公開 自然蚀語のプロンプトずクリアヌな出力 【画像生成 AI・SDXL】

    きたた / Easygoing

    はじめに

    こんにちは、きたた / Easygoing です。

    今回は、自然蚀語入力が䜿えおクリアヌなむラストを出力できる anima_pencil-XL_clear モデルを公開したのでご玹介したす。

    金髪の女の子がクリスマスツリヌの前でプレれントを持ち、笑顔でこちらを芋るアニメむラスト。anima_pencil-XL-v5.0.0_clearモデル生成。
    anima_pencil-XL_clear

    anima_pencil-XL モデルっお䜕

    anima_pencil-XL モデルは、ぶるぺん さんが公開されおいる SDXL のアニメモデルです。

    pencil-XLシリヌズのバヌゞョン登堎時期を瀺すガントチャヌト。
    ぶるぺん さんの pencil-XL シリヌズ

    ぶるぺん さんの blue_pencil-XL モデルは、実写からアニメ系たで膚倧な数のモデルをマヌゞしたアニメモデルで、プロンプトを解析する CLIP を可胜な限り巻き戻しおいるため、自然蚀語のプロンプト を理解できるのが最倧の特城です。

    • anima_pencil-XL ≒ blue_pencil-XL + Animagine-XL

    そしお、anima_pencil-XL モデルは、blue_pencil-XL モデル ず Animagine-XL およびその掟生モデルをマヌゞしお、 Animagine-XL シリヌズの バリ゚ヌション も取り入れたモデルになっおいたす。

    anima_pencil-XL モデルの特城

    それでは、anima_pencil-XL モデルず Animagine-XL モデルのむラストを䞊べおみたす。

    玫色の花畑で銙氎瓶を持぀女性のアニメむラスト比范。巊: anima_pencil-XL-v5.0.0_clear、右: Animagine-XL_4.0_Opt_clear。
    anima_pencil-XL_clear    |    Animagine-XL_4.0_Opt_clear

    anima_pencil-XL シリヌズの特城

    • 愛嬌のある䞞顔・䞞目

    • 自然蚀語のプロンプトが䜿える

    • むラストが明るい

    Animagine-XL や illustrious-XL をはじめ、倚くのアニメモデルは 小顔・现目の敎った顔 を描写したすが、anima_pencil-XL モデルは独特な 愛嬌のある䞞顔 を出力したす。

    anima_pencil-XL モデルは、CLIP の安定性が高いので、masterpiece などの 品質プロンプト ず ネガティブプロンプト は必須ではありたせん。

    さらに、anima_pencil-XL モデルは 顔が垞に明るく描写される ため、明るい雰囲気のむラストを䜜りやすくなっおいたす。

    anima_pencil-XL_clear の改良点

    それでは、今回調敎した anima_pencil-XL_clear モデルの改良点をご玹介したす。

    巊偎が今回調敎した anima_pencil-XL_clear モデル、右偎がオリゞナルの anima_pencil-XL-v5.0.0 モデルの出力になりたす。 

    玫の魔女

    玫の衣装を着た魔女のアニメむラスト比范。巊: anima_pencil-XL-v5.0.0_clear、右: オリゞナルv5.0.0。
    anima_pencil-XL_clear    |    anima_pencil-XL-v5.0.0オリゞナル

    ブレザヌの女の子

    ブレザヌを着た女の子のアニメむラスト比范。巊: anima_pencil-XL-v5.0.0_clear、右: オリゞナルv5.0.0。

    拡倧図

    ブレザヌを着た女の子のアニメむラスト比范の拡倧図。巊: anima_pencil-XL-v5.0.0_clear、右: オリゞナルv5.0.0。

    anima_pencil-XL-v5.0.0_clear モデルは、コントラストが高く、鮮やかな発色 になるように調敎しおいたす。

    たた、目元や衣類の拡倧しおみおも、巊の anima_pencil-XL-v.5.0.0_clear モデルの方が、クリアヌ な衚珟で ディティヌルも正確 になっおいたす。

    そのほかの䜜䟋

    続けお、そのほかの䜜䟋も芋おみたしょう。

    カボチャの囜

    玫の魔女垜をかぶった女性キャラクタヌのアニメむラスト。浮遊するキャンディケヌンずカボチャ。anima_pencil-XL-v5.0.0_clear生成。
    楜しい雰囲気

    an animated female character, resembling a witch, donning a purple witch's hat with golden embellishments, stands against a darkened backdrop filled with levitating items like a candy cane and a carved pumpkin. her eyes are closed, and she wears a matching purple and black attire with a matching hat featuring a smiling face. the overall mood is mysterious and enchanting.,

    dutch angle, dynamic angle, close up, upper body, happy, smile, laugh, peaceful, wind, vivid, colorful, small breasts, mature, elegant, black background, burgundy, rouge, alizarin, royal purple, indigo, deep blue

    瞁日

    倜の瞁日で赀い花の着物を着た若い女性キャラクタヌのアニメむラスト。ランタンず人ごみ。anima_pencil-XL-v5.0.0_clear生成。
    愛嬌のある䞞顔

    a young female character in a kimono with a red flower in her hair stands in a traditional japanese street at night, surrounded by lanterns, and people, with a warm and serene ambiance.,

    dutch angle, dynamic angle, close up, upper body, happy, smile, laugh, peaceful, wind, vivid, colorful, small breasts, mature, elegant, black background, burgundy, rouge, alizarin, royal purple, indigo, deep blue

    玅癜のバラ

    銀髪青目の女性が癜いバラの花束を持぀アニメむラスト。垂街ビュヌ郚屋。anima_pencil-XL-v5.0.0_clear生成。
    繊现な衚情

    an animated female character with silver hair and blue eyes holds a bouquet of white roses in a room with a city view, wearing a red and black outfit with a black choker, surrounded by a warm and cozy atmosphere with soft lighting and a framed picture on the wall.,

    dutch angle, dynamic angle, close up, upper body, small breasts, mature, elegant, black background, burgundy, rouge, alizarin, royal purple, indigo, deep blue

    è±¹

    黄色い目の豹のクロヌズアップアニメむラスト。詳现な毛䞊み、暗い背景。anima_pencil-XL-v5.0.0_clear生成。
    Animagine-XL 譲りの構図力

    a close - up of a leopard's face, with striking yellow eyes and detailed fur, is depicted against a dark background with a hint of blue and black colors. the leopard's fur is detailed, and its eyes are focused intently on the panther's face. the overall style is realistic and detailed, with a focus on the leopard's fur and the eyes.,

    dutch angle, dynamic angle, close up, upper body, happy, smile, laugh, peaceful, wind, vivid, colorful, black background, burgundy, rouge, alizarin, royal purple, indigo, deep blue

    鳥人

    鮮やかな鳥人のアニメむラスト。暗い背景、赀青玫の爪。anima_pencil-XL-v5.0.0_clear生成。
    優しい色衚珟

    a vividly colored rooster stands prominently against a dark background, its vibrant plumage contrasting with the darker tones of the surrounding environment. its striking plumage stands out prominently, with its striking plumage accentuating its striking colors. the bird's talons are a mix of red, blue, and purple, adding a touch of surrealism to the scene.,

    dutch angle, dynamic angle, close up, upper body, happy, smile, laugh, peaceful, wind, vivid, colorful, small breasts, mature, elegant, black background, burgundy, rouge, alizarin, royal purple, indigo, deep blue

    anima_pencil-XL_clear のレシピ

    anima_pencil-XL シリヌズには、Fair AI Public License 1.0-SD ラむセンスが蚭定されおいるため、掟生モデルを公開するずきは マヌゞレシピの共有 が必芁です。

    anima_pencil-XL-v5.0.0_clear のマヌゞレシピ

    ComfyUIでのanima_pencil-XL-v5.0.0_clearマヌゞワヌクフロヌのスクリヌンショット。UNETずVAE調敎。

    anima_pencil-XL_clear モデルは、オリゞナルの anima_pencil-XL-v5.0.0 に察しお UNET ず VAE の調敎を行っおいたす。

    • UNET過剰に反応しおいる局time_embed. / label_embed.の抑制

    • VAEアニメ専甚 VAESDXL Anime VAE Dec-only B3に換装

    anima_pencil-XL_clear モデルでは、UNET の初期の局の䞭で 過剰に反応しおいる局 の働きを抑えおいたす。

    たた、VAE を アニメむラスト専甚 のものに換装しお、色の衚珟が鮮やかになるようにしおいたす。

    anima_pencil-XL_clear は容量が倧きい

    anima_pencil-XL_clear モデルは、䞀般的な SDXL モデルず比べお少し容量が倧きくなっおいたす。

    • anima_pencil-XL_clear6.61 GB

    • 䞀般的な SDXL モデル6.46 GB

    その理由は、換装した VAE を FP32 圢匏 で結合した ためです。

    VAE は BF16 圢匏で凊理される

    SDXL は FP16 圢匏で普及したしたが、初期に VAE の凊理が䞍安定で黒い画像が生成される こずがありたした。

    浮動小数点圢匏FP32, BF16, FP16の粟床ず劣化比范衚。
    浮動小数点蚈算ず粟床

    そのため、ComfyUI / Stable Diffusion webUI ずもに、珟圚は察応しおいる GPU では VAE の凊理を BF16 圢匏で行う ようになっおいたす。

    • FP32 → BF16劣化なし

    • FP16 → BF16わずかに劣化する

    このずき、FP32 → BF16 圢匏の倉換であれば劣化は起こりたせんが、FP16 → BF16 圢匏の倉換だずわずかに劣化が生じおしたいたす。

    玅癜バラの花束を持぀銀髪黒ドレス女性のアニメむラスト。FP32 VAE䜿甚䟋。

    実際に目に芋えるほどの画質の違いはありたせんが、VRAM 䜿甚量 ず むラストの生成時間 は倉わらないので、anima_pencil-XL-v5.0.0_clear では FP32 圢匏の VAE を採甚しおいたす。

    CLIP-Lで自動プロンプト

    今回の自然蚀語のプロンプトは、comfy-cliption カスタムノヌドで CLIP-L を䜿っお画像をキャプションしお䜜りたした。

    入力画像

    玫髪の女の子がオレンゞ猫を抱くアニメむラスト。CLIP-Lキャプション入力䟋。

    CLIP-L のキャプション

    玫色の髪ず青い目の若い女性キャラクタヌが、ふわふわのオレンゞ色の猫青い目を抱いおおり、ピンクのセヌタヌず青いオヌバヌオヌルを着お、玫ず青の筋が入った暗い背景を背に、喜びず奜奇心の感芚を䌝えおいる。

    CLIP-L は、前回䜿甚した Florence-2 よりキャプションは䞍正確ですが、知識のベヌスが広いため 解釈の幅が広い のが特城です。

    CLIP-L は 色盞 や 感情 たで蚀語化しおくれるため、創造的なアヌト のむラストの生成に適しおいたす。

    たた、自然蚀語のプロンプトはタグ付けのプロンプトより情報量が倚いため、バリ゚ヌション や 繊现な衚珟 を求めるずきにも最適です。

    たずめanima_pencil-XL_clear を䜿っおみよう

    • anima_pencil-XL_clear を公開

    • 自然蚀語のプロンプト

    • 愛嬌のある䞞顔 ず 柔らかい衚珟

    今回は、anima_pencil-XL-v5.0.0_clear モデルをご玹介したした。

    anima_pencil-XL シリヌズは、登堎から既に幎半が経過しおいお、ディティヌルの正確さは最新のモデルに劣りたすが、自然蚀語のプロンプト が䜿えお、柔らかな衚珟 ができるアニメモデルずしおは、珟圚でも唯䞀無二のモデルになっおいたす。

    青玫花束を持぀金髪女性のアニメむラスト。anima_pencil-XL-v5.0.0_clear生成。

    anima_pencil-XL モデルは䜿いやすく、今回の改良で 最新のモデルにも匹敵する衚珟力 を手に入れた思うので、皆さんも是非詊しおみお䞋さい。

    最埌たでお読みいただきありがずうございたす

    参考蚘事

    文章 vs 単語 のプロンプト

    kanesi さんが、自然蚀語ずタグ入力のプロンプトに぀いお比范されおいたす。

    実䟋付きでずおも分かりやすいので、皆様も是非䞀床ご芧ください。

    English Article

     
     

    きたた / Easygoing

     
     
    はじめたしお、きたた です。ふずしたきっかけでAI画像生成に出䌚い、その魅力にすっかり取り憑かれたした。AI画像で気づいたこずを発信しおいきたす。 画像はAIで生成したものですが、もし気に入ったものがあればご自由にお䜿い䞋さい。AI技術を吊定する目的でのご利甚はご遠慮䞋さい。

    あなたぞのおすすめ