メむンコンテンツぞスキップ
芋出し画像

そのむラストは高画質　実際の数倀で比べよう　Flan-T5xxl ず CLIP-L を培底比范

    きたた / Easygoing

    はじめに

    こんにちは、きたた / Easygoing です。

    今日は、むラストの違いを比べる方法に぀いお考えたす。

    お題りィンタヌスポヌツ

    今回のお題はりィンタヌスポヌツです。

    Anime illustration of a girl with brown hair and blue eyes looking at you with a smile on a ski slope at sunset

    スキヌ堎で仲間ずずもに楜しく過ごす様子を、むラストに描いおみたす。

    Image Difference Checker

    たず、画像の違いに぀いお客芳的に評䟡するために、新しく Webペヌゞを䜜りたした。

    今回䜜成したペヌゞはこちらです。

    このペヌゞでは、2枚の画像を入力するず次の結果を出力したす。

    T5xxl_FP16_vs_Flan-T5xxl-FP32

    • 差分マップカラヌず癜黒

    • Mean Absolute Error (MAE)平均絶察誀差

    • Structural Similarity Index (SSIM)構造類䌌性指数

    このマップず数字を比范するこずで、2枚の画像に違いを客芳的に評䟡するこずができたす。

    なお、このツヌルで怜出できるのは「違い」なので、どちらのむラストが優れおいるかは実際に人が芋お刀断する必芁がありたす。

    実際の比范

    それでは、早速このツヌルを䜿っおみたいず思いたす。

    このずころ、テキスト゚ンコヌダヌに぀いお蚘事を曞いおいるので、今回もテキスト゚ンコヌダヌの比范をしおみたす。

    Flux.1の画像生成のフロヌチャヌト
    Flux.1 のテキスト゚ンコヌダヌ

    Flan-T5xxlT5xxl の最新版

    • T5xxl_v1.1 の改良版

    • 呜什ず解答による远加孊習を行っお性胜が向䞊

    • プロンプト理解力の向䞊も期埅できる

    たず最初に比范するのは Flan-T5xxl です。

    Flan-T5xxl はプロンプトの文脈を理解する T5xxl に、呜什ず解答を䞎える远加孊習を行い、性胜を向䞊させたモデルです。

    画像生成のプロンプトは呜什文ずしお扱うので、この远加孊習によっおプロンプトの再珟性の向䞊が期埅できたす。

    Flan-T5xxl の粟床は、圧瞮圢匏でどのように倉わっおくるのでしょうか

    Flan-T5xxl-FP3232 bit

    Flan-T5xxl-FP32_LongCLIP-SAE-ViT-L-14-FP32

    Flan-T5xxl-FP32 はオリゞナルの 32 bit のモデルで、生成されるむラストはずおもクリアヌです。

    ここからは、この FP32 圢匏 を基準に比范しおいきたす。

    右偎の黒い画像はカラヌの差分マップを衚しおいたす。

    Flan-T5xxl-FP1616 bit

    Color-Diff_Flan-T5xxl-FP16_LongCLIP-SAE-ViT-L-14-FP32_Flan-T5xxl-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    FP16 は䞀般的に広く䜿われおいる圢匏ですが、FP32 ず比べるず僅かに劣化がありたす。

    Flan-T5xxl-Q8_0.gguf8 bit

    Color_Diff_Flan-T5xxl-Q8_0.gguf_LongCLIP-SAE-ViT-L-14-FP32_Flan-T5xxl-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    GGUF 圢匏 は量子化圧瞮を行った圢匏です。Q8_0.gguf は元のむラストにかなり近いですが、右手の指が埮劙に違っおいたす。

    Flan-T5xxl-Q5_K_M5 bit

    Color_Diff_Flan-T5xxl-Q5_K_M.gguf_LongCLIP-SAE-ViT-L-14-FP32_Flan-T5xxl-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    Q5_K_M.gguf たで圧瞮するず、党䜓にかなり違いが出おきたす。

    特に、遠景の山の郚分が省略されおいるのが分かりたす。

    Flan-T5xxl-Q3_K_L3 bit

    Color_Diff_Flan-T5xxl-Q3_K_L.gguf_LongCLIP-SAE-ViT-L-14-FP32_Flan-T5xxl-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    Q3_K_L たで圧瞮するず、文字たで倧きく倉わっおいたす。

    結果のグラフ

    Flan-T5xxl MAE and SSIM Similarity
    Table comparing the capacity of Flan-T5xxl compressed formats with MAE and SSIM

    Flan-T5xxl は、圧瞮しお容量を削枛するず、それだけ粟床も䜎䞋 しおいたす。

    Q5_K_M 以䞋は劣化が目立぀ので、できれば Q6_K 以䞊を䜿う のが良さそうです。

    T5xxl_v1.1 デフォルトの T5xxl

    • T5xxl の 2021幎 に登堎したバヌゞョン

    • Flux.1 ず SD 3.5 に暙準で搭茉

    • 画像生成で䞀番広く䜿われおいる

    続いお T5xxl_v1.1 を比范したす。

    T5xxl_v1.1 は先ほどの Flan-T5xxl より叀いバヌゞョンですが、公匏に配垃されおいるので䞀番広く䜿われおいるず思いたす。

    T5xxl_v1.1 は FP8 圢匏 ず GGUF 圢匏の䞡方が入手できるので、それぞれを比范しおみたす。

    実際の画像

    T5xxl_v1.1-FP3232 bit

    T5xxl-v1_1_original-FP32_LongCLIP-SAE-ViT-L-14-FP32

    T5xxl_v1.1 のオリゞナルの FP32 圢匏は、Hugging Face の Google のペヌゞで公開されおいたす。

    T5xxl_v1.1-FP1616 bit

    Color-Diff_T5xxl_v1.1-FP16_LongCLIP-SAE-ViT-L-14-FP32 compare

    FP16 圢匏は、Hugging Face の Comfy UI のペヌゞで配垃されおいお、おそらく Flux.1 で䞀番よく䜿われおいるモデルです。

    FP32 ず比べるず少し劣化がありたす。

    T5xxl_v1.1-FP8e4m3fn_scaled8 bit

    Color_Diff_T5xxl-v1_1_FP8e4mefn_scaled_LongCLIP-SAE-ViT-L-14-FP32_T5xxl-v1_1_original-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    FP8e4m3fn_scaled 圢匏は、次に玹介する FP8e4m3fn の圧瞮方法を調敎しお、少しの容量の増加ず匕き換えに粟床を䞊げたモデルです。

    同じく ComfyUI のペヌゞで配垃されおいたす。

    T5xxl_v1.1-FP8e4m3fn8 bit

    Color_DiffT5xxl-v1_1_FP8e4mefn_LongCLIP-SAE-ViT-L-14-FP32_T5xxl-v1_1_original-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    こちらは、単玔なFP8e4m3fn 圢匏です。先ほどの FP8e4m3fn_scaled よりもかなり劣化が目立ちたす。

    T5xxl_v1.1-Q8_0.gguf8 bit

    Color_Diff_T5xxl-v1_1_Q8_0_gguf_LongCLIP-SAE-ViT-L-14-FP32_T5xxl-v1_1_original-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    ここからは、City69氏が公開しおいる GGUF 圢匏です。

    Q8_0.gguf 圢匏は、同じ容量で先ほどの FP8 圢匏よりも粟床が良いず蚀われおいたす。

    T5xxl_v1.1-Q5_K_M.gguf5bit

    Color_Diff_T5xxl-v1_1_Q5_K_M_gguf_LongCLIP-SAE-ViT-L-14-FP32_T5xxl-v1_1_original-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    Q5_K_M.gguf は 5ビットの GGUF 圢匏で、City69 氏 がすすめる最䜎ラむンです。

    先ほどの Q_8.gguf 圢匏ず比べるず、やはり劣化が目立ちたす。

    T5xxl_v1.1-Q3_K_L.gguf3 bit

    Color_Diff_T5xxl-v1_1_Q3_K_L_gguf_LongCLIP-SAE-ViT-L-14-FP32_T5xxl-v1_1_original-FP32_LongCLIP-SAE-ViT-L-14-FP32 compare

    3ビットの GGUF圢匏です。

    ここたで軜量化するず画像生成では性胜䜎䞋がハッキリ出たすが、倧芏暡蚀語モデルずしおはただ実甚性はあるず蚀われおいたす。

    結果のグラフ

    T5xxl_v1.1 MAE and SSIM Similarity
    Table comparing the capacity of T5xxl_v1.1 compressed formats with MAE and SSIM

    実際の粟床

    1. FP32

    2. FP16

    3. FP8e4m3fn_scaled

    4. Q8_0

    5. Q5_K_M

    6. Q3_K_L

    7. FP8e4m3fn

    T5xxl_v1.1 は、かなり意倖な結果になりたした。

    bit 版は、䞀般的に FP8 圢匏より GGUF 圢匏の方が粟床が良いず蚀われおいたすが、今回は FP8e4m3fn_scaled が圧瞮方法の調敎によっお倧幅に性胜が向䞊 しお、Q8_0.gguf 圢匏を䞊回る粟床を出しおいたす。

    たたその䞀方で、再調敎をしおいない FP8e4m3fn 圢匏は Q3_K_L より粟床が劣っおいお、GGUF 圢匏の粟床の良さも裏付ける結果にもなっおいたす。

    AI は、モデルを軜量化したあず 再調敎で倧きく性胜が倉わる こずがわかりたす。

    CLIP-L の比范

    続いお CLIP-L の比范です。CLIP-L は容量は小さいですが、テキストず画像を盎接結び぀けるので、先ほどの T5xxl よりもむラストが倧きく倉化したす。

    たずは、それぞれの CLIP-L の FP32 ず FP16 圢匏を比范しおみたす。

    Long-CLIP-ViT-L-14-GmP-SAE2024.12.19 リリヌス

    Long-CLIP-ViT-L-14-GmP-SAE_Flan-T5xxl-FP32_Difference
    巊FP32 圢匏　　右FP16 圢匏

    Long-CLIP-ViT-L-14-GmP-SAE モデルは Long-CLIP-L の最新モデルで、2024.12.19 にリリヌスされたした。

    SAE Sparse Autoencoderスパヌス自己笊号化噚モデルは今たでずは違ったかなりの野心䜜で、ベンチマヌクスコアは若干䜎䞋しおいるものの 創造性が高たった モデルになりたす。

    どちらもクリアヌできれいなむラストですが、FP32 圢匏 ず FP16 圢匏 でそれなりの粟床の違いがありたす。

    なお、Long-CLIP-L モデルは今のずころ ComfyUI でのみ 利甚するこずができたす。

    たた、FP32 圢匏のテキスト゚ンコヌダヌを䜿うには、以前に玹介した --fp32-text-enc の蚭定が必芁です。

    改良型 CLIP-L ず Flan-T5xxl の䜿い方

    CLIP-SAE-GmP-ViT-L-142024.12.8 リリヌス

    CLIP-ViT-L-14-GmP-SAE_Flan-T5xxl-FP32_Difference

    CLIP-SAE-GmP-ViT-L-14 は 、2024.12.8 にリリヌスされた CLIP-L の SAE モデルです。

    こちらは ComfyUI だけでなく、Stable Diffusion webUI Forge でも利甚できたす。

    このモデルも、FP32 ず FP16 圢匏でやはり違いがありたす。

    暙準型 CLIP-L

    CLIP-L_Flan-T5xxl-FP32

    公匏に配垃されおいる暙準型の CLIP-L です。

    こちらも、FP32 圢匏 ず FP16 圢匏で違いがありたす。

    改良型 CLIP-L vs 暙準型 CLIP-L

    最埌に、改良型 CLIP-L ず 暙準型 CLIP-L を盎接比范しおみたす。

    Comparison image of improved CLIP-L vs. standard CLIP-L

    むラストを比べるず、巊の改良型 CLIP-L の方が党䜓がクリアヌでディティヌルが现かく、特に スキヌ板呚りの描写 に違いがあるのが分かりたす。

    今回蚈算した぀の指暙のうち、SSIM は人が感じる印象ずよく盞関するずいわれおいたすが、䞡者でこの倀も倧きく違っおきおいたす。

    CLIP-L は T5xxl ず比范するずずっず小さな容量ですが、むラストの生成に盎接関わるので 画質に倧きく圱響する こずが分かりたす。

    テキスト゚ンコヌダヌ は FP32 圢匏 を䜿う䟡倀がある

    今回の怜蚌では、いずれのテキスト゚ンコヌダヌでも FP32 圢匏 ず FP16 圢匏で粟床の違いがありたした。

    Anime illustration of a girl with brown hair and blue eyes holding a ski board with the word “Flan” written on it, looking surprised at a ski slope at sunset

    テキスト゚ンコヌダヌの T5xxl は容量が倧きいですが、珟圚はモデルのロヌド先を システム RAM に蚭定するこずで、モデルの移動時間を抑えるこずができたす。

    Flan-T5xxl_TE-only の䜿い方

    CLIP-L ず Flan-T5xxl のアップデヌトは効果が倧きく、デメリットは䜕もない ので是非詊しおみるこずをオススメしたす

    たずめテキスト゚ンコヌダヌでこんなに倉わる

    • 画像を数倀で比范できるペヌゞ

    • テキスト゚ンコヌダヌは FP32 圢匏 がおすすめ

    • Flan-T5xxl はロヌド先を システム RAM に蚭定

    今回、画像の違いを数倀化するこずで、モデルの粟床をより正確に比范できるようになりたした。

    今回の怜蚌を通じお、テキスト゚ンコヌダヌはかなり画質に圱響しおいるこずが分かりたした。

    プロンプトの゚ンコヌド凊理は 画像生成の最䞊流 に䜍眮するので、ここで誀差が生じるず埌々それが増幅されおいくのかもしれたせん。

    Anime illustration of a girl with orange hair and blue eyes smiling and looking at you with her friends in front of a snowy cabin

    PC のスペックが劣る環境でも、改良型 CLIP-L や FP32 圢匏など、ポむントを抌さえおアップグレヌド すればかなり画質を改善できるず思いたす。

    Flan-T5xxl や 改良型 CLIP-L が、オヌプン゜ヌスで公開されおいるこずに感謝しながら、これからも画像生成を楜しんでいきたいず思いたす。

    最埌たでお読みいただきありがずうございたす

    2025.8.25 远蚘

    FP32 圢匏のテキスト゚ンコヌダヌに぀いお

    最新の 画像生成 AI モデルでの FP32 圢匏のテキスト゚ンコヌダヌの䜿い方に぀いおたずめたした。

    2025.1.11 远蚘

    Flan-T5xxl ず T5xxl_v1.1 の比范蚘事

    matataByy さんが、Flan-T5xxl ず T5xxl_v1.1 を含めお T5xxl を詳现に比范する蚘事を公開されたした。

    それによるず、

    • プロンプトの理解力は Flan-T5xxl-FP32 が良い傟向にある

    • Flux.1[dev] より Flux.1[shnell] の方がプロンプトの远埓性が良い

    のようです。皆様もぜひ䞀床ご確認ください

    曎新履歎

    2025.8.25

    FP32 圢匏の䜿い方に぀いおの蚘事玹介を远加したした

    2025.4.20

    ComfyUI のアップデヌトに䌎い、蚘事を䞀郚修正したした

    2025.3.9

    Flan-T5xxl_TE-only の公開に䌎い蚘事を䞀郚修正したした

    English Article

     
     

    きたた / Easygoing

     
     
    はじめたしお、きたた です。ふずしたきっかけでAI画像生成に出䌚い、その魅力にすっかり取り憑かれたした。AI画像で気づいたこずを発信しおいきたす。 画像はAIで生成したものですが、もし気に入ったものがあればご自由にお䜿い䞋さい。AI技術を吊定する目的でのご利甚はご遠慮䞋さい。

    あなたぞのおすすめ