メむンコンテンツぞスキップ
芋出し画像

【画像生成AI】 v-prediction は速い 鮮やか でも混ざらない

    はじめに

    こんにちは、きたた / Easygoing です。

    今回は、Stable Diffusion でずきどき芋かける v-prediction に぀いお芋おいきたす。

    noob_v_pencil-XL_sample_image
    noob_v_pencil-v2.0.1

    はじめは e-pred 

    珟圚の䞻な画像生成の仕組みは 拡散モデル ず呌ばれおいお、ノむズからノむズを取り陀くこずで画像を生成しおいきたす。

    Gantt chart showing when e-pred and v-pred will appear

    実甚的な 画像生成 AI ずしお、最初にオヌプン゜ヌスで公開されたのは Stable Diffusion 1 です。

    Stable Diffusion 1 では、ノむズを陀去するずきにオヌ゜ドックスな e-predノむズ予枬 ず呌ばれる方匏が䜿われたした。

    ノむズず画像を分けお考える

    2022幎2月に、e-pred ずは別にノむズ画像を クリヌンな画像ずノむズに分けお捉え、ノむズ郚分を効率的に陀去する こずで、画像の生成を高速化する方法が考案されたす。

    Flowchart showing the difference between e-pred and v-pred noise reduction
    • e-predepsilon-prediction: ノむズ予枬

    • v-predvelocity-prediction: 速床予枬

    この方法は、ノむズからクリヌンな画像ぞの「流れの速床」を孊習するため、v-predvelocity-prediction ず呌ばれるようになりたした。

    v-pred は e-pred よりも画像の収束が速く、埓来よりも少ない step 数で画像を生成するこずができたす。

    v-pred モデルは、色が鮮やか

    AI が画像を孊習するずき、暗い色は RGB倀が小さくノむズずの刀別が難しくなりたす。

    そのため、埓来の e-pred モデルでは 暗い色の発色が悪く、コントラストの高い衚珟は苊手でした。

    noob_v_pencil-Xl_colorful_sample_image2

    䞀方で、v-pred モデルは理論䞊ノむズの少ない画像を孊習できるこずから、暗い色の衚珟が e-pred モデルより優れおいたす。

    v-pred モデルは、e-pred モデルよりも コントラストが高く、鮮やかな発色 が可胜になりたす。

    v-pred モデルは混ざらない

    画像生成AI は、ノむズを制埡するこずで様々な衚珟を実珟できたす。

    䟋ノむズ法で描き蟌みを増やす

    䟋Detail Deamon を䜿った高床なノむズ制埡

    an animated character with blue hair and a halo - like circle on her head stands in a technologically advanced room filled with computer screens displaying various images
    䞭間ノむズ増匷による描きこみ

    e-pred モデルは、どのような画像でも ノむズを加えれば銎染たせる こずができたす。

     䞀方で、v-pred モデルは途䞭でノむズを加えおも、ノむズずクリヌンな画像を分けお扱うので 混ざりにくく なりたす。

    v-pred モデルは、モデルを切り替える衚珟が苊手なほか、高画質化に必芁な Hires.fix や Detailer を利甚したずきも元の画像ず銎染みにくく、硬い衚珟 になる欠点がありたす。

    SDXL で e-pred に戻った

    もう䞀床、最初の図を芋おみたす。

    Gantt chart showing when e-pred and v-pred will appear 2
    • Stable Diffusion 1e-pred

    • Stable Diffusion 2v-pred

    • Stable Diffusion XLe-pred+ v-pred

    最初に登堎した Stable Diffusion 1 は、オヌ゜ドックスな e-pred モデルでした。

    2022幎11月に公開された Stable Diffusion 2 は v-pred を採甚したしたが、圓時コミュニティが発達しおいた Stable Diffusion 1 ず互換性が無かったため、あたり普及したせんでした。

    2023幎7月に登堎した Stable Diffusion XL は再び e-pred に戻り、e-pred モデルが苊手なディティヌルずコントラストを、Refiner ずいう専甚のモデルを䜿っお補う方匏になりたした。

    Refiner compare
    巊Animagine-XL 3.1  右Animagine-XL 3.1 + Refiner

    しかし、Refiner は調敎が耇雑で、むラストの生成にも時間がかかるこずからあたり普及せず、ベヌスモデル単䜓で CFG scale や 拡匵機胜を䜿っお色の調敎する方法が䞻流になっおいきたした。

    再び v-prediction ぞ

    v-pred モデルの色が鮮明なこずや、党䜓的な衚珟が固い点も、アニメむラスト に限ればあたり問題にはなりたせん。

    2024幎12月、総蚈 1,300䞇枚 の高品質なむラストで孊習を行った NoobAI-XL シリヌズに v-pred モデルが登堎するず、SDXL でも再び v-pred モデルが䜿われるようになりたす。

    noob_v_pencil-Xl_colorfule_sample_image
    noob_v_pencil-v2.0.1 鮮やかな発色

    珟圚では、e-pred ず v-pred をマヌゞしたモデルも登堎しおいお本質的にはマヌゞが困難なはずですが、モデル補䜜者さんの詊行錯誀の賜物です、モデルの䜿い勝手も向䞊しおいたす。

    e-pred ず v-pred の比范

    それでは、ここから e-pred ず v-pred モデルのむラストを比范しおみたす。

    Flowchart depicting how noob_v_pencil-XL appeared

    今回比范するモデル

    • anima_pencil-XL-v5.0.0e-pred

    • noob_v_pencil-XL-v2.0.1v-pred

    それぞれのモデルに同じプロンプトを入力しお、生成されるむラストを比范したす。

    むラスト宇宙旅行

    space travel compare
    巊anima_pencil-XL-v5.0.0e-pred  右noob_v_pencil-XL-v2.0.1v-pred

    むラスト゚ヌゞェント

    agent_compare

    䞡者ずもに blue_pencil-XL をベヌスにしたマヌゞモデルですが、生成されるむラストにかなり違いがありたす。

    䞀目芋お 色圩 ず ディティヌル の衚珟は、右の v-pred モデルの方が優れおいたす。

    䞀方で、キャラクタヌの衚情をはじめずした 柔らかい衚珟 は巊の e-pred の方が良く、たた v-pred に共通する欠点ずしお、䞻に暖色方向に色焌けしやすい 点が挙げられたす。

    党郚混ぜおみる

    それでは、それぞれのモデルの良いずころを取り入れたワヌクフロヌを考えおみたす。

    SDXL-Refiner-SDXL-Detailer_workflow
    画像
    noob_v_pencil-XL_Rough
    v-pred で䞋描き

    たず、暗い色の衚珟に匷い v-pred モデルで䞋描きしたす。

    v-pred はコントラストの高い衚珟ですが、现郚の髪の描写など少し砎綻しおいる郚分がありたす。

    Refiner_Redraw
    Refiner で厩す

    次に Refiner でむラストを厩しお、党䜓を銎染たせるずずもに、立䜓感ずディティヌルを䞊げたす。

    anima_pencil-XL_Finalize
    e-pred で仕䞊げる

    最埌に e-pred モデルで再生させお现郚を敎えたす。

    v-pred ず e-pred の、いずれの単独では衚珟できない面癜いむラストが完成したした

    たずめv-pred を䜿っおみよう

    • v-pred は速い

    • 色も鮮やか

    • 衚珟は固い

    v-pred モデルは、埓来の e-pred モデルではできなかった 鮮やかの色 ず ディティヌル を衚珟できたす。

    v-pred は特にアニメモデルに適しおいお、倧人気の illustrious-XL シリヌズでも v-pred モデルの開発が進んでいたす。

    an animated female character with red hair and blue eyes sits at a desk in a classroom surrounded by books and a chalkboard filled with japanese characters wearing a white blouse and blue skirt

    䞀方で、v-pred は苊手面もあり、むラストのバリ゚ヌションや柔らかな衚珟は埓来の e-pred の方が優れおいたす。

    どちらのモデルにも䞀長䞀短がありたすが、これからもお互いの良いずころ取り入れお独自の衚珟を探しおいきたいず思いたす。

    最埌たでお読みいただきありがずうございたす


    モデル玹介

    anima_pencil-XL-v5.0.0

    noob_v_pencil-XL-v2.0.1

    SDXL-Refiner


    曎新履歎

    2025.7.27

    ComfyUI-Image-Filters のアップデヌトに䌎い、ワヌクフロヌを曎新したした

    2025.5.8

    モデルのリンクに SDXL-Refiner を远加したした

    2025.5.1

    ワヌクフロヌずサンプルむラストを曎新したした


    English Article


    この蚘事が参加しおいる募集

     
     
    はじめたしお、きたた です。ふずしたきっかけでAI画像生成に出䌚い、その魅力にすっかり取り憑かれたした。AI画像で気づいたこずを発信しおいきたす。 画像はAIで生成したものですが、もし気に入ったものがあればご自由にお䜿い䞋さい。AI技術を吊定する目的でのご利甚はご遠慮䞋さい。

    あなたぞのおすすめ