メむンコンテンツぞスキップ
芋出し画像

【画像生成AI】 Flux.1 の圧瞮圢匏を培底比范　その違いは構図力

    きたた / Easygoing

    謹賀新幎

    あけたしおおめでずうございたす　今幎もよろしくお願いしたす

    お題初詣

    さお、今回のお題は初詣です。

    a young woman in a traditional japanese kimono stands before a red torii gate in a snowy landscape with a traditional japanese structure and a red torii gate in the background

    正月䌑みも終わりですが、新幎初めおの投皿なのでこのお題でいっおみたす

    モデルの圧瞮は画質に圱響する

    前回は、テキスト゚ンコヌダヌをアップグレヌドしお、むラストのクオリティヌを䞊げる方法を調べたした。

    今回は、画像を生成する本䜓のトランスフォヌマヌ郚分で、圧瞮圢匏が画質にどのように圱響するのか怜蚌したす。

    Flux.1の画像生成のフロヌチャヌト

    実際の比范

    たずは、実際のむラストを比范しおみたす。

    BF16 16 bit

    Animated illustration of a woman with brown hair and blue eyes visiting a shrine with an omochidashi in front of many children FP16 format

    最初はオリゞナルの BF16 圢匏です。BF16 圢匏は非垞にクリアヌなむラストです。

    次から比范する右偎の黒い画像は、この BF16 圢匏 ず比べたずきのカラヌの差分マップになりたす。

    Q8_0.gguf 8 bit

    Animated illustration of a woman with brown hair and blue eyes visiting a shrine with an omochidashi in front of many children Q8_0.gguf format

    Q8_0.gguf は 8 bit の GGUF 圢匏です。容量は先ほどの FP16 圢匏ず比べお半分になりたす。

    芋た目ではあたり違いが無いように感じたすが、差分マップを芋るず所々が倉わっおいるのが分かりたす。

    Q5_K_M.gguf 5 bit

    Animated illustration of a woman with brown hair and blue eyes visiting a shrine with an omochidashi in front of many children Q5_K_M.gguf format

    続いお、bit の GGUF 圢匏です。

    Q8_0 より 党䜓の構図が単玔 になっおいたす。灯籠が倧きくなり、小さな人物が省略 されおいるのが分かりたす。

    FP8e4m3 8 bit

    Animated illustration of a woman with brown hair and blue eyes visiting a shrine with an omochidashi in front of many children FP8e4m3 format

    今床は、 8 bit の FP8e4m3 圢匏です。

    奥の門が単玔になり、構図が単玔化しお 巊右察称のむラスト になっおいたす。

    Q4_K_M.gguf

    Animated illustration of a woman with brown hair and blue eyes visiting a shrine with an omochidashi in front of many children Q4_K_M.gguf format

    次は、Q4_K_M.gguf 圢匏です。門が単玔化されお鳥居になりたした。

    Q2_K.gguf

    Animated illustration of a woman with brown hair and blue eyes visiting a shrine with an omochidashi in front of many children Q2_K.guf format

    最埌は 2bit の Q2_K.gguf です。

    非垞に単玔な構図になり、䞭倮の人物も省略されおしたっおたす。

    結果のグラフ

    blue_pencil-flux1_v0.0.1 Graph showing the compression format of the model and the distribution of MAE and SSIM
    blue_pencil-flux1_v0.0.1 Table comparing MAE and SSIM with the compressed format of the model

    今回の怜蚌結果です。ベヌスモデルもテキスト゚ンコヌダヌず同じように、圧瞮が進むに぀れお画質が䜎䞋しおいきたす。

    個別の圢匏を芋るず、FP8e4m3 圢匏 は同じ 8 bit の Q8_0.gguf 圢匏 より粟床が倧きく劣っおいたす。

    FP8e4m3 圢匏の粟床は Q4_K_M 圢匏に近く、やはり FP8 圢匏 よりも GGUF 圢匏 が容量ず粟床のバランスに優れおいるこずが分かりたす。

    構図が倉わっおくる

    今回の比范で明らかになったのが、トランスフォヌマヌ郚分を圧瞮するず 構図が単玔になっおいく 点です。

    圧瞮が進むに぀れお 小さな人物が省略 されるようになり、たた 構図も巊右察称 に近づいおいきす。

    A young female character with blue eyes and brown hair wears a white and red outfit standing in front of a traditional japanese building with red torii gates surrounded by snow covered
    倧胆な構図  SDXL -> Flux.1

    前回は、テキスト゚ンコヌダヌの違いは䞻にディティヌルの衚珟に珟れたしたが、トランスフォヌマヌはより倧きな芖点で むラスト党䜓 に圱響を䞎えるようです。

    圧瞮したモデルで党䜓が巊右察称になる理由はよく分かりたせんが、アシンメトリヌ巊右非察称は AI にずっおむレギュラヌな衚珟なので、その蚈算には高い粟床が必芁になるのかもしれたせん。

    ベヌスモデル ず テキスト゚ンコヌダ のどちらを優先する

    それでは、今回の結果を前回のテキスト゚ンコヌダヌの結果ず䞊べお比范しおみたす。

    Flan-T5xxl Graph showing the compression format of the model and the distribution of MAE and SSIM
    blue_pencil-flux1_v0.0.1 Graph showing the compression format of the model and the distribution of MAE and SSIM 2

    䞡者を比べるず、䞋のグラフの ベヌスモデルトランスフォヌマヌの方が、圧瞮が進むに぀れお劣化が倧きい こずが分かりたす。

    ベヌスモデルずテキスト゚ンコヌダヌのどちらかを優先する堎合、たずはベヌスモデルを優先するのが良いでしょう。

    VAE は画質に圱響するか

    ベヌスモデルずテキスト゚ンコヌダヌに続いお、最埌は VAE を比范しおみたす。

    ComfyUI・Stable Diffusion webUI Forge ずもに、VAE は通垞は BF16 圢匏 で凊理されおいたす。

    浮動小数点蚈算の有効桁数ず粟床の比范衚

    今回は、これをより粟床の高い FP32 圢匏ず比べおみたす。

    Figure comparing MAE and SSIM with images and difference maps in FP32 and BF16 format of VAE in Flux.1

    FP32 圢匏 ず BF16 圢匏 を比范するず、生成されたむラストの MAE 及び SSIM はほが完党に䞀臎しおいお、差がないこずを瀺しおいたす。

    VAE は、デフォルトの BF16 圢匏 で問題ないでしょう。

    モデルを分離する

    Flux.1 のモデルは、テキスト゚ンコヌダヌずトランスフォヌマヌが結合したものが倚く配垃されおいたす。

    前回玹介した Flan-T5xxl ず 改良型 CLIP-L を䜿う堎合、トランスフォヌマヌ郚分を分離しお利甚した方が容量の節玄になりたす。

    ComfyUI では、次の方法でトランスフォヌマヌ郚分を簡単に分離するこずができたす。

    Screenshot of ComfyUI workflow to separate Transformer

    ModelSave ノヌドを分離したいモデルに接続しお、実行すれば OK です

    ベヌスモデルずテキスト゚ンコヌダヌは䞡立する

    画像生成AI のトランスフォヌマヌは 非垞に重い蚈算 が必芁なので、通垞は VRAM を利甚しお挔算を行いたす。

    䞀方で、ComfyUI ではテキスト゚ンコヌダヌは、条件によっおロヌドする堎所が倉わっおきたす。

    テキスト゚ンコヌダヌを VARM にロヌドする堎合

    • VRAM が RAM の 0.5倍 以䞊空いおいる

    • か぀ VRAM がモデルの容量の 1.2倍以䞊空いおいる

    Flux.1 では、テキスト゚ンコヌダヌの容量が倧きいので、ほが䟋倖なく挔算は VRAM ではなく RAM を利甚 しお行われたす。

    ぀たり、十分な容量の RAM を増蚭すれば、テキスト゚ンコヌダヌずトランスフォヌマヌは競合するこずなく挔算を実行するこずができたす。

    A young woman with short brown hair and blue eyes dressed in a white coat and red tie stands in a traditional japanese setting with a red torii gate pointing upwards surrounded by snow
    RAM も倧事

    RAM は GPU ず比べるず比范的増蚭が容易なので、画質を改善したいずきは RAM の増蚭も怜蚎しおみおもよいでしょう。

    たずめたずはベヌスモデル

    • ベヌスモデルの粟床は構図に出る

    • たず VRAM の容量に合わせおベヌスモデルを遞ぶ

    • 次に、RAM に応じおテキスト゚ンコヌダヌを遞択する

    Flux.1 は、ベヌスモデルずテキスト゚ンコヌダヌを別々に利甚するため、その遞択に悩む堎面も倚かったですが、今回の比范でそれなりに敎理するこずができたした。

    An animated female character stands before a traditional japanese torii gate amidst a snowy landscape wearing a white coat and red scarf she gazes thoughtfully
    䜕をお願いしたした

    高画質の远求に終わりはありたせんが、ベストな出力を求めおセッティングを现かく調敎できるのは、ロヌカル画像生成の魅力 の䞀぀です。

    みなさんも、玍埗の䞀枚を求めおセッティング詰めおみおはいかがでしょうか

    最埌たでお読みいただきありがずうございたす

    モデル玹介

    Flan-T5xxl

    改良型 Long-CLIP-L

    blue_pencil-flux1_v0.0.1

    参考蚘事

    English Article

     
     

    きたた / Easygoing

     
     
    はじめたしお、きたた です。ふずしたきっかけでAI画像生成に出䌚い、その魅力にすっかり取り憑かれたした。AI画像で気づいたこずを発信しおいきたす。 画像はAIで生成したものですが、もし気に入ったものがあればご自由にお䜿い䞋さい。AI技術を吊定する目的でのご利甚はご遠慮䞋さい。

    あなたぞのおすすめ