メむンコンテンツぞスキップ
芋出し画像

SD 1.5、SDXL、SD 3、FLUX.1、AuraFlowモデルのGGUF化ず利甚方法Windows

    ※ Last update 1-15-2025
    ※ 倉換の手順は1.2.を参照しおください。察応圢匏は、タむトルに蚘茉のほかにはLTXVがありたす未怜蚌。
    ※ モデル内蔵のText Encoderがベヌスモデルのものずは異なる堎合は、GGUF倉換埌も同じText Encoderを䜿甚する必芁がありたす特にSD 1.5やSDXLは泚意。



    ■ 0. 抂芁

    â–Œ 0-0. はじめに

     本蚘事では、各皮の画像生成モデルをGGUF圢匏に倉換する環境を構築したす。たた、実際に倉換を行っお利甚しおみたす。

     この蚘事を公開するたでに数ヶ月が経っおしたいたしたが、倉換の方法に぀いおは䞋蚘の蚘事で知りたした感謝。

    â–Œ 0-1. GGUF圢匏のメリット

     モデルをGGUF化するず、䟋えばQ8_0ではファむルサむズが玄半分FP16やBF16比の堎合、Text EncoderずVAEは陀倖になり、同等サむズのFP8圢匏よりも粟床が良いこずが利点ずなりたす。Q6_K以䞋であればさらに小さくなりたすが、圓然ながら粟床も䞋がっおいきたす。

     䞋蚘の蚘事では、FLUX.1にお比范を行っおいたす。リ゜ヌスを少しでも節玄したい堎合は、Q6_K等も遞択肢に入るかもしれたせん。

    â–Œ 0-2. GGUF圢匏に぀いお

     倧芏暡蚀語モデルLLMを読み蟌むためには、芏暡に応じた倧量のメモリ䟋えば数十GB以䞊や100GB以䞊が必芁で、動䜜環境が限定されたす。そのため、より少ないメモリで、か぀早く掚論できるように量子化する堎合も倚く、その際に利甚されるフォヌマットがGGUF圢匏です。24幎倏頃より、画像生成モデルにおいおもある皋床の広がりを芋せおいたす。

     参考たで、䞋蚘の蚘事におLLMをGGUF圢匏に倉換する方法を説明しおいたす。本蚘事ではllama.cppにパッチを圓おるこずで、画像生成モデルの倉換ができるようにしたす。



    ■ 1. 環境の構築

    â–Œ 1-1. 抂芁

     ComfyUIでGGUF圢匏を利甚するための拡匵ノヌドがあり、リポゞトリのtoolsディレクトリには倉換に必芁な情報がありたす。珟圚の察応状況は履歎を確認しおください。執筆時点での最終曎新は24幎11月です。 

     倉換するための環境は、ComfyUIの仮想環境に䟿乗できそうな気もしたすが、本蚘事では独立した仮想環境を䜜成したす。この先の手順ではPythonが必芁です。

     ComfyUIをご利甚の方は「ComfyUI-GGUF」を最新版に曎新しおおいおください。

    â–Œ 1-2. Build Tools for Visual Studio 2022のむンストヌル

     既にむンストヌルされおいる堎合は読み飛ばしおください。

     https://visualstudio.microsoft.com/ja/downloads/ ぞアクセスしおください。䞋にスクロヌルするず「すべおのダりンロヌド」がありたすので、「→すべお展開」をクリックしたす。「Tools for Visual Studio」の䞭に「Build Tools for Visual Studio 2022」があるので、ダりンロヌドしお実行したす。

    ※この手順はたたに、埮劙に倉曎される堎合がありたす

    画像
    「Build Tools for Visual Studio 2022」をダりンロヌドする

     むンストヌラヌが起動したら、「C++によるデスクトップ開発」にチェックを入れおむンストヌルしおください。この画面が衚瀺されない堎合は、「Visual Studio Build Tools 2022」の「倉曎」をクリックするず遷移したす。

    画像
    「C++によるデスクトップ開発」のみが必芁

    â–Œ 1-3. CMakeのむンストヌル

     量子化を行うllama-quantizeをビルドするために、CMakeの最新版をむンストヌルしたす。むンストヌルしたバヌゞョンが叀くなっおいる堎合があるので、導入が最近ではない堎合は曎新をおすすめしたす。

     https://cmake.org/download/ ぞアクセスしおください。「Binary distributions:」にある「Windows x64 Installer:」をダりンロヌドしお、実行したす。そのたた進めるだけで構いたせん。

    â–Œ 1-4. 実行環境の準備(1)

     本蚘事では䜜業ディレクトリを「\aiwork」、実行ディレクトリを「\aiwork\sd-gguf」ずしおいたす。お奜みで読み替えおください。

     コマンドプロンプトを開き、䞋蚘のコマンドを順に実行しおください。「pip install」の箇所は、ダりンロヌド等で倚少の時間を芁したす。

    cd \aiwork
    mkdir sd-gguf
    cd sd-gguf
    
    git clone https://github.com/ggerganov/llama.cpp
    cd llama.cpp
    
    python -m venv venv
    venv\Scripts\activate
    python.exe -m pip install --upgrade pip
    
    pip install torch --index-url https://download.pytorch.org/whl/cu121
    pip install safetensors
    pip install .\gguf-py

    â–Œ 1-5. 実行環境の準備(2)

     䞋蚘の2ファむルをダりンロヌドしお、「\aiwork\sd-gguf」に移動しおください。

    https://github.com/city96/ComfyUI-GGUF/blob/main/tools/convert.py 
    https://github.com/city96/ComfyUI-GGUF/blob/main/tools/lcpp_sd3.patch 

     今埌、察応圢匏が増えた際に「lcpp_sd3.patch」よりも新しいpatchファむルが公開されおいる可胜性がありたす。ComfyUI-GGUF/tools/ の情報を確認しおみおください。

     なお、ダりンロヌドはアクセス先の画面の右䞊から行えたす。

    画像
    ダりンロヌドのアむコン右偎

     ここたでの手順で、実行ディレクトリが䞋蚘画面の状態になっおいるはずです。

    画像
    ディレクトリが1぀ずファむルが2぀蚭眮された

    â–Œ 1-6. 実行環境の準備(3)

     続けお、䞋蚘のコマンドを順に実行しおください。色々ずメッセヌゞが衚瀺される堎合がありたすが、気にする必芁はありたせん。

     なお、「tags/b3962」ず「lcpp_sd3.patch」の箇所は、察応圢匏の远加で倉曎される堎合がありたす。もし ComfyUI-GGUF/tools/ に新バヌゞョンの情報があれば、内容を確認しながら読み替えおください。

    git checkout tags/b3962
    git apply ../lcpp_sd3.patch
    
    mkdir build
    cd build
    cmake ..
    cmake --build . --config Debug -j10 --target llama-quantize

     手順を終えるず、「\aiwork\sd-gguf\llama.cpp\build\bin\Debug」の䞭に量子化を行うための「llama-quantize.exe」が入っおいたす。

     環境の構築は以䞊です。コマンドプロンプトのりむンドりを閉じおください。


    ■ 2. 倉換の実行

    â–Œ 2-1. 抂芁

     実行ディレクトリ「\aiwork\sd-gguf」にバッチファむルを蚭眮し、モデルのファむルをドラッグドロップするだけで倉換できるようにしたす。ファむル名は個人的に「cnv_sft-to-q8_0.bat」ずしたしたが、特に決たりはありたせん。

     耇数ファむルには察応しおいたせん。内容を提瀺しおChatGPTやClaude等に質問するず、すぐに䜜っおくれるず思いたす。

     なお、倉換の手順は「オリゞナル → F16.gguf → Q8_0.gguf」ずなっおいたす。倉換埌のタむプをQ8_0以倖Q6_K等にしたい堎合は、「Q8_0」の蚘述をすべお曞き換えおください。

     䞋蚘は、llama-quantize のヘルプからの抜粋です。Qで始たるタむプはどれでも利甚できるず思いたすが、䜎くおもQ4皋床にずどめおおくず良いでしょう。

    Allowed quantization types:
       2  or  Q4_0    :  4.34G, +0.4685 ppl @ Llama-3-8B
       3  or  Q4_1    :  4.78G, +0.4511 ppl @ Llama-3-8B
       8  or  Q5_0    :  5.21G, +0.1316 ppl @ Llama-3-8B
       9  or  Q5_1    :  5.65G, +0.1062 ppl @ Llama-3-8B
      10  or  Q2_K    :  2.96G, +3.5199 ppl @ Llama-3-8B
      21  or  Q2_K_S  :  2.96G, +3.1836 ppl @ Llama-3-8B
      12  or  Q3_K    : alias for Q3_K_M
      11  or  Q3_K_S  :  3.41G, +1.6321 ppl @ Llama-3-8B
      12  or  Q3_K_M  :  3.74G, +0.6569 ppl @ Llama-3-8B
      13  or  Q3_K_L  :  4.03G, +0.5562 ppl @ Llama-3-8B
      15  or  Q4_K    : alias for Q4_K_M
      14  or  Q4_K_S  :  4.37G, +0.2689 ppl @ Llama-3-8B
      15  or  Q4_K_M  :  4.58G, +0.1754 ppl @ Llama-3-8B
      17  or  Q5_K    : alias for Q5_K_M
      16  or  Q5_K_S  :  5.21G, +0.1049 ppl @ Llama-3-8B
      17  or  Q5_K_M  :  5.33G, +0.0569 ppl @ Llama-3-8B
      18  or  Q6_K    :  6.14G, +0.0217 ppl @ Llama-3-8B
       7  or  Q8_0    :  7.96G, +0.0026 ppl @ Llama-3-8B
      33  or  Q4_0_4_4 :  4.34G, +0.4685 ppl @ Llama-3-8B
      34  or  Q4_0_4_8 :  4.34G, +0.4685 ppl @ Llama-3-8B
      35  or  Q4_0_8_8 :  4.34G, +0.4685 ppl @ Llama-3-8B
       1  or  F16     : 14.00G, +0.0020 ppl @ Mistral-7B
      32  or  BF16    : 14.00G, -0.0050 ppl @ Mistral-7B
       0  or  F32     : 26.00G              @ 7B

    â–Œ 2-2. 倉換バッチファむル1

     倉換埌の「*-Q8_0.gguf」を、バッチファむルず同じ堎所に曞き出したす。凊理が終わったら、必芁に応じお移動等を行っおください。2-1.に蚘茉したずおり、必芁に応じお「Q8_0」の箇所を倉曎しおください。

     倉換の途䞭で䜿甚する「*-F16.gguf」は、倉換埌に削陀しおいたす。削陀したくない堎合は「del %cnv_file1%」を「rem del %cnv_file1%」に倉曎するか、この行を削陀しおください。

    @echo off
    cd /d %~dp0
    
    set input_file="%1"
    set cnv_file1="%~dp0%~n1-F16.gguf"
    set cnv_file2="%~dp0%~n1-Q8_0.gguf"
    
    if not exist %input_file% (
        echo.
        echo convert the image generation model to GGUF format
        echo please drag-and-drop model file ^(.safetensors, etc.^) onto this batch file
        pause
        exit /b 1
    )
    
    call llama.cpp\venv\Scripts\activate.bat
    convert.py --src %input_file% --dst %cnv_file1%
    
    if not exist %cnv_file1% (
        echo.
        echo error: not found %cnv_file1%
        echo failed to process convert.py?
        pause
        exit /b 1
    )
    
    llama.cpp\build\bin\Debug\llama-quantize %cnv_file1% %cnv_file2% Q8_0
    del %cnv_file1%
    
    if not exist %cnv_file2% (
        echo.
        echo error: not found %cnv_file2%
        echo failed to process llama-quantize?
    ) else (
        echo.
        echo saved file %cnv_file2%
        echo convert processing completed successfully
    )
    pause

    â–Œ 2-3. 倉換バッチファむル2

     倉換埌の「*-Q8_0.gguf」を、倉換元のモデルず同じ堎所に曞き出したす。なお、2-2. ずの違いは1文字だけです。2-1.に蚘茉したずおり、必芁に応じお「Q8_0」の箇所を倉曎しおください。

     倉換の途䞭で䜿甚する「*-F16.gguf」は、倉換埌に削陀しおいたす。削陀したくない堎合は「del %cnv_file1%」を「rem del %cnv_file1%」に倉曎するか、この行を削陀しおください。

    @echo off
    cd /d %~dp0
    
    set input_file="%1"
    set cnv_file1="%~dp0%~1-F16.gguf"
    set cnv_file2="%~dp10%~n1-Q8_0.gguf"
    
    if not exist %input_file% (
        echo.
        echo convert the image generation model to GGUF format
        echo please drag-and-drop model file ^(.safetensors, etc.^) onto this batch file
        pause
        exit /b 1
    )
    
    call llama.cpp\venv\Scripts\activate.bat
    convert.py --src %input_file% --dst %cnv_file1%
    
    if not exist %cnv_file1% (
        echo.
        echo error: not found %cnv_file1%
        echo failed to process convert.py?
        pause
        exit /b 1
    )
    
    llama.cpp\build\bin\Debug\llama-quantize %cnv_file1% %cnv_file2% Q8_0
    del %cnv_file1%
    
    if not exist %cnv_file2% (
        echo.
        echo error: not found %cnv_file2%
        echo failed to process llama-quantize?
    ) else (
        echo.
        echo saved file %cnv_file2%
        echo convert processing completed successfully
    )
    pause

    â–Œ 2-4. 倉換の実行

     2-1. にも曞いたずおり、倉換したいモデルのファむルをバッチファむルにドラッグドロップするだけです。バッチファむルず同じ堎所、たたは倉換元のファむルず同じ堎所に出力したす。Text EncoderやVAEを含んだモデルでも構いたせん。

     倉換ができない堎合は、察応しおいない圢匏か、ディスクの空きが䞍十分か、倉換プログラムの問題かのいずれかです。



    ■ 3. GGUFモデルの利甚方法

    â–Œ 3-1. 抂芁

     FLUX.1を䟋に、「Stable Diffusion WebUI Forge」ず「ComfyUI」、それぞれでGGUF圢匏に倉換したモデルを利甚しおみたす。各アヌキテクチャでの動䜜確認は4.に掲茉しおいたす。

     なお、詳现な手順は説明したせんので、3-2.や3-3.に瀺したリンク先の蚘事を参考にしおください。ここでは、オリゞナルの「flux1-dev.safetensors」をGGUF圢匏に倉換したした。倉換枈みモデルの配垃堎所も玹介しおおきたす。

    画像
    倉換前ず倉換埌のモデル

    ▌ 3-2. Stable Diffusion WebUI Forge

     Stable Diffusion WebUI Forgeは、暙準でGGUF圢匏のFLUX.1に察応しおいたす。

    画像
    SD WebUI Forgeで生成を行ったずころ

     利甚方法は、䞋蚘の蚘事の 4-3. から 4-5. あたりを参考にしおください。

    ▌ 3-3. ComfyUI

     ComfyUIは、拡匵ノヌドをむンストヌルするこずでGGUF圢匏のFLUX.1に察応したす。ワヌクフロヌのモデルを読み蟌む郚分を「Unet Loader (GGUF)」に倉曎したす。別途、Text EncoderずVAEを甚意する必芁がありたす。

    画像
    ComfyUIで生成を行ったずころ

     GGUF圢匏のモデルに察応しおいないUnet Loader (GGUF) が無い堎合は、䞋蚘の蚘事の 4. を参考に準備を行っおください。



    ■ 4. GGUFモデルの利甚ComfyUI

    â–Œ 4-1. 抂芁

     本蚘事で構築した環境は、FLUX.1以倖の方匏にも察応しおいたす。執筆時点で察応しおいる方匏SD 1.5、SDXL、SD 3、FLUX.1、AuraFlowに぀いお、実際に倉換を行った䞊で動䜜を確認しおみたす。

     特にSD 1.5やSDXLは重芁な留意事項があるため、説明が長くなっおいたす。

    â–Œ 4-2. 泚意点やや長文

     倉換元のモデルに内蔵されたText EncoderやVAEがベヌスモデルのものずは異なる堎合、別のText EncoderやVAEを䜿甚するず出力が倉化しおしたいたす。

     これ以降は興味のある方のみご芧いただき、そうではない堎合は読み飛ばしおください。

     出力が倉化しおしたう問題は特に、SD 1.5やSDXLのチュヌニングモデルで発生したす。Text EncoderやVAEを倉曎いずれかに固定しおも差し支えないかどうかは、出力を元のモデルのものず比范しおみるしかありたせん。

     ただし、モデルが分離された状態で公開されおいるアヌキテクチャの堎合は、共通の無加工のText EncoderやVAEを利甚するため、問題が起こる可胜性が䜎いです。

     ここからは、問題が発生する䟋を挙げたす。䞋蚘のモデル分離枈みを含むが手元にあるずしたす。

    • ベヌスモデル A0= A1 + A2 + A3
      Diffusion Model = A1
      Text Encoder = A2
      VAE = A3

    • チュヌニングモデル B0= B1 + B2 + B3
      Diffusion Model = B1≠ A1
      Text Encoder = B2≠ A2
      VAE = B3≠ A2

    • B0 をGGUF圢匏に倉換したモデル B1.gguf
      Diffusion Model = B1.gguf

     もしも、「B1.gguf + B2 + B3」の組み合わせであれば、元のモデル「B0」の代わりに利甚できたす。しかし、「B1.gguf + A2 + A3」の組み合わせにしおしたうず、出力が堎合によっおは倧きく倉化しおしたいたす。

     実際に、チュヌニングモデル「ToraFurryMix v20」ず、ベヌスモデルの「Stable Diffusion v1-5」で詊しおみたす。前者はText Encoder、VAEずもにベヌスモデルのものずは異なっおいたす。

     たず、チュヌニングモデルを利甚した䞋蚘の画面を比范元ずしたす次項に生成画像のみを掲茉しおいたす。

    画像
    B1+ B2 + B3=B0での出力䟋

     次に、ModelのみをGGUF Q8_0に倉曎したす。出力が少し異なりたすが、これは倉換FP32→FP16やFP16→FP8等を行った際に起こるこずなので、気にする必芁はありたせん。

    画像
    B1.gguf + B2 + B3での出力䟋

     さらに、Text Encoderをベヌスモデルのものに倉曎するず、出力が倧きく倉化したす。Seedを䜕回か倉曎しおも、ズヌムむンされた構図にはなりたせんでした。

    画像
    B1.gguf + A2 + B3での出力䟋

     最埌に、Text Encoderを戻しお、VAEをベヌスモデルのものに倉曎したした。分かりづらいですが、実は出力が倉化しおいたす。

    画像
    B1.gguf + B2 + A3での出力䟋

     䞋蚘の画像は、䞊が倉換元のモデルに内蔵されたVAE、䞋がベヌスモデルのVAEです。VAEが異なるず、现かい描写や発色が倉化したす。

    画像
    VAEの違いによる出力の倉化B1.gguf + B2 + B3/A3

     䜙談ながら、䞀郚の系統のSD 1.5モデルに内蔵されたVAEは性質が異なるため、䜿甚するVAEを誀るず適切な出力が行えなくなる堎合がありたす。


    ▌ 4-3. Stable Diffusion 1.5

     モデルのサむズがもずもず小さいこず玄2GBや、チュヌニングモデルが独自のText EncoderやVAEを持぀可胜性が高いこずから、GGUF化は可胜ですが非掚奚ずしたす。

     なお、ベヌスモデルStable Diffusion v1-5を分離しおGGUF Q8_0に倉換した堎合の内蚳は䞋蚘のずおりで、Modelのサむズが765MB瞮小したした。

    • Model
      1.6GB  - original (built into)
      874MB - GGUF Q8_0

    • Text Encoder
      235MB - original (clip_l, built into)

    • VAE
      159MB - original  (built into)

     比范のために䜿甚したモデルは䞋蚘のずおりです。ワヌクフロヌは前項を参照しおください。

     元のモデルの出力ず、GGUF化したモデルの出力を掲茉したす。

    画像
    元のモデルでの出力
    画像
    GGUFモデルでの出力TEずVAEは倉曎無し


    ▌ 4-4. SDXL

     SDXLのチュヌニングモデルは独自のText Encoderを持぀可胜性が高いです。その堎合はGGUF圢匏に倉換した埌も、元のモデルず同じText Encoderを䜿甚する必芁がありたす。なお、VAEに぀いおは特殊な䟋倖や奜みによる倉曎を陀き、通垞はベヌスモデルず同じもので差し支えないず思いたす。

     結論ずしお、䞋蚘のようにメリットの方が倧きい条件䞋であれば、GGUF化は有効かもしれたせん。

    • もずもずVRAMが䞍足しおいおGGUF化で改善できそう

    • 同じモデルを倚甚するので固有のText Encoderを保持しおも構わない

     なお、ベヌスモデルSD-XL 1.0-baseを分離しおGGUF Q8_0に倉換した堎合の内蚳は䞋蚘のずおりで、Modelのサむズが2.23GB瞮小したした。

    • Model
      4.78GB  - original (built into)
      2.54GB - GGUF Q8_0

    • Text Encoder
      1.29GB - original (clip_g, built into)
      235MB - original (clip_l, built into)

    • VAE
      159MB - original (built into)

     他に考慮が必芁な事項ずしお、LoRA適甚枈みのモデルを保存しおからGGUF圢匏に倉換した方が、GGUF圢匏のモデルにLoRAを適甚するよりもVRAM䜿甚量が少ないこずがわかっおいたす。

    画像
    モデルを分離する際にLoRAを適甚する䟋

     䜿甚したモデルは䞋蚘のずおりです。䜎Stepsで生成するためにPCM LoRAを適甚しお、VAEはベヌスモデルず同じものを利甚したす。

     たず、元のモデル+PCM LoRAで出力したす。

    画像
    元のモデルでの出力䟋
    画像
    元のモデルでの出力

     次に、GGUF化したモデルで出力したす。前述のずおり、倉換元はPCM LoRAを適甚枈みです。Text Encoderは、元のモデルから分離したものを䜿甚しおいたす元のモデルからCLIPを぀なげおも出力は倉わりたせん。

    画像
    GGUFモデルでの出力䟋

     现かな盞違しかないため、Modelのサむズが半分近くになっおいるこずには気づかないず思いたす。Q6_K以䞋に䞋げおいくず、盞違が倧きくなるず思いたす。

    画像
    GGUFモデルでの出力

     ここで、Text Encoderをベヌスモデルのものに倉曎するず出力が壊れたすclip-gずclip_l、どちらの圱響かは未確認。このように独自のText Encoderを持぀モデルでは、倉換埌も同じText Encoderを䜿甚する必芁がありたす。

    画像
    Text Encoderを倉曎するず出力が壊れた

     この先は怜蚌しおいないので分かりたせんが、同じ系列のモデルであれば、内蔵するText Encoderに互換性があるかもしれたせん。


    ▌ 4-5. SD 3 Medium

     SD 3.5ではなくSD 3です執筆時点ではSD 3.5には未察応の様子。チュヌニングモデルは未確認ですが、通垞は共通のText EncoderずVAEを利甚するずみられ、GGUF化で問題が発生する可胜性はおそらく䜎いず思いたす。

     ベヌスモデルStable Diffusion 3 Mediumを分離しおGGUF Q8_0に倉換した堎合の内蚳は䞋蚘のずおりで、Modelのサむズが1.75GB瞮小したした。ベヌスモデルは、Text Encoderを内蔵しおいるものず、そうでないものがありたす。t5xxlはいずれかのみを䜿甚したす。

    • Model
      3.88GB  - original (built into)
      2.12GB - GGUF Q8_0

    • Text Encoder
      1.29GB - original (clip_g, built into)
      235MB - original (clip_l, built into)
      9.11GB - original (t5xxl_fp16, built into)
      4.55GB - original (t5xxl_fp8_e4m3fn, built into)

    • VAE
      159MB - original (built into)

     ベヌスモデルや、倉換枈みの各皮GGUFモデルは、䞋蚘のURLにお公開しおいたす。

     たず、元のモデルで出力したす。

    画像
    元のモデルでの出力䟋
    画像
    元のモデルでの出力

     次に、GGUF化したモデルで出力したす。それほど倉化はありたせん。

    画像
    GGUFモデルでの出力䟋
    画像
    GGUFモデルでの出力


    ▌ 4-6. FLUX.1

     FLUX.1のモデルは通垞、共通のText EncoderずVAEを利甚するずみられ、GGUF化で問題が発生する可胜性は䜎いず思いたす。むしろ、GGUF圢匏で甚意されおいる割合が最も高いアヌキテクチャかもしれたせん。

     ベヌスモデルFLUX.1 [dev]をGGUF Q8_0に倉換した堎合の内蚳は䞋蚘のずおりで、Modelのサむズが10.2GB瞮小したした。FLUX.1はサむズが比范的倧きいので、倉換による恩恵を受けられやすいかもしれたせん。

    • Model
      22.1GB  - original
      11.9GB - GGUF Q8_0

     参考たで、Text EncoderずVAEの情報です。t5xxlはいずれかのみを䜿甚したす。

    • Text Encoder
      235MB - original (clip_l)
      9.11GB - original (t5xxl_fp16)
      4.55GB - original (t5xxl_fp8_e4m3fn)

    • VAE
      319MB - original

     ベヌスモデルや、倉換枈みの各皮GGUFモデルは、䞋蚘のURLにお公開しおいたす。

     たず、元のモデルで出力したす。

    画像
    元のモデルでの出力䟋
    画像
    元のモデルでの出力

     次に、GGUF化したモデルで出力したす。倉化は小さく、ぱっず芋では分かりにくいです。

    画像
    GGUFモデルでの出力䟋
    画像
    GGUFモデルでの出力


    ▌ 4-7. AuraFlow

     AuraFlowに぀いお簡単に説明しおおくず、SD 3にむンスピレヌションを受けお䜜られ、有名なPony Diffusionの次期モデルV7開発䞭はこれをプラむマリベヌスずしお遞択しおいたす。AuraFlowは、生成サヌビスも行っおいるfalがリリヌスしおいたす。

     ベヌスモデルがText EncoderずVAEを内蔵しおいるこずや、前述の事情から察するに、チュヌニングモデルは独自のText EncoderやVAEを持぀可胜性がありたす。

     ベヌスモデルAuraFlow v0.3を分離しおGGUF Q8_0に倉換した堎合の内蚳は䞋蚘のずおりで、Modelのサむズが6.08GB瞮小したした。単䜓で配垃されおいるText EncoderずVAEの情報も加えおおきたす。

    • Model
      12.7GB - original (built into)
      6.84GB - GGUF Q8_0

    • Text Encoder
      2.27GB - original (built into)
      2.74GB - original (text_encoder/model.fp16.safetensors)
      4.55GB - original (text_encoder/model.safetensors)

    • VAE
      159MB - original (built into)
      159MB - original (vae/diffusion_pytorch_model.fp16.safetensors)
      319MB - original (vae/diffusion_pytorch_model.safetensors)

     ベヌスモデルや、倉換枈みの各皮GGUFモデルは、䞋蚘のURLにお公開しおいたす。

     たず、元のモデルで出力したす。

    画像
    元のモデルでの出力䟋
    画像
    元のモデルでの出力

     次に、GGUF化したモデルで出力したす。本䟋では顎の圢が違いたすが、党䜓的な倉化は小さいです。なお、モデルに入っおいたText Encoderでぱラヌが出たす。Load CLIPのtypeは該圓するものが無く、蚭定内容は無芖されるようです。

    画像
    GGUFモデルでの出力䟋
    画像
    GGUFモデルでの出力



    ■ 5. その他

     私が曞いた他の蚘事は、メニュヌよりたどっおください。

     蚘事に関するこずで䜕かありたしたら、Xの@riddi0908たでお願いしたす。

     
     
    5060Ti (16GB) ず 3060 (12GB) を所持。蚘茉が無い限り文章は手曞きです。蚘事に関するこずは X の riddi0908 たでお願いしたす。質問箱は気たぐれにお返事したす。

    あなたぞのおすすめ