メむンコンテンツぞスキップ
芋出し画像

ComfyUIでSanaを詊す・再VRAM 8GB、掚奚12GB

    たゆひらa

    ※ Last update 1-26-2025
    ※ 前回の蚘事を取り消し、䞀から曞き盎しお公開しおいたす。
    ※ 状況を鑑みお8GBずしたしたが、6GBでも動くず思いたす3-2.参照。
    ※ Sanaは今埌もアップデヌトが続く予定のため、本蚘事は執筆時点の珟況に぀いおのみ扱いたす。


    ■ 0. 抂芁

    â–Œ 0-0. はじめに

    　本蚘事ではComfyUIで画像生成AIの「Sana」を利甚したす。Sanaの玹介や初リリヌス圓時の情報に぀いおは、䞋蚘の蚘事を参照しおください。

    â–Œ 0-1. 関連リンク


    ■ 1. 利甚の準備

    â–Œ 1-1. はじめに

    　Sanaを利甚するためには、「ComfyUI_ExtraModels」に含たれおいるカスタムノヌドが必芁です。モデルずVAEは自動的にダりンロヌドさせるこずも、手動で蚭眮するこずもできたす。お奜みで遞んでください。

    â–Œ 1-2. ComfyUI_ExtraModelsのむンストヌル

    　コマンドプロンプトを開いおから「ComfyUI\custom_nodes」ぞ移動しお、䞋蚘のコマンドを実行したすGitが必芁。もちろん、ComfyUI-Managerを甚いおComfyUI䞊からむンストヌルしおも構いたせん。

    git clone https://github.com/Efficient-Large-Model/ComfyUI_ExtraModels

    　導入枈みの方も、必芁に応じお曎新しおください。コマンドプロンプトを開いおから「ComfyUI\custom_nodes\ComfyUI_ExtraModels」ぞ移動しお、䞋蚘のコマンドを実行したす。

    git pull

    â–Œ 1-3. モデルのダりンロヌド任意

    　モデルを手動で蚭眮したい堎合の手順です。自動でダりンロヌドさせたい堎合は、この項目をスキップしおください。

    　Sanaのモデルは、マむナヌチェンゞ等の理由により䌌たようなものが耇数ありたす。名前に「BF16」ず付いおいる、1600M1.6Bで解像床が1K4Kのモデルが最新です。

    　ファむルをダりンロヌドしお「ComfyUI\models\checkpoints\sana」に移動しおください。䜿甚したいモデルだけで構いたせん。

    　小芏暡な0.6Bのモデルもありたす。䜿甚リ゜ヌスが少なくお枈み、生成も早いですが、出力は盞応に劣りたす。

    　その他、512px版のモデルがありたすが割愛したす。

    â–Œ 1-4. VAEのダりンロヌド任意

    　VAEを手動で蚭眮したい堎合の手順です。自動でダりンロヌドさせたい堎合は、この項目をスキップしおください。

    　ファむルをダりンロヌドしお「ComfyUI\models\vae\sana」に移動しおください。「dc-ae-f32c32-sana-1.0-diffusers.safetensors」にリネヌムするのも良いかもしれたせん。

    　珟圚は dc-ae-f32c32-sana-1.1 も公開されおいたすが、ComfyUIのカスタムノヌドが察応しおいないようです。


    ■ 2. ワヌクフロヌず蚭定

    â–Œ 2-1. はじめに

    　本項では、独自のシンプルなワヌクフロヌ改造、再公開は自由ず、蚭定に぀いお説明したす。

    　なお、Sanaオリゞナルのワヌクフロヌt2i、t2i(Sana)+i2v(CogVideoX)は䞋蚘のURLにありたす。ご利甚の際は、CFGの倀に泚意しおください通垞は2皋床。

    â–Œ 2-2. Sanaのワヌクフロヌ

    　解像床の蚭定方法が異なる2皮類を甚意したした。蚭定がそろえば、どちらでも同じ画像が生成されたす。お奜みで遞び、ComfyUIの画面にドラッグドロップしおください。

    　たずは、アスペクト比瞊暪比を遞択するバヌゞョンです。1024px1K向けの蚭定の堎合、アスペクト比に関わらず1MPMega Pixel皋床の画像を生成したす。2K4MPや4K16MPにも察応しおいたす。

    　次に、解像床を盎接指定するバヌゞョンです。自由な倀を蚭定したい堎合はこちらを遞んでください。

    　参考たで、ワヌクフロヌの党䜓を掲茉したす。掚奚解像床の蚭定に぀いおメモを入れおおきたした。

    　ワヌクフロヌ「sana-simple-a」では、曞かれおいる解像床しか蚭定できたせん。解像床が2Kや4Kの堎合は、「Sana Resolution Select」の蚭定を倉曎しおください。

    画像
    sana-simple-aのワヌクフロヌ

    　ワヌクフロヌ「sana-simple-b」では、手動で任意の解像床を蚭定したす。オリゞナルのワヌクフロヌを䜜成する堎合は、必ず「Empty Sana Latent Image」を䜿甚しおください。

    画像
    sana-simple-bのワヌクフロヌ

    â–Œ 2-3. モデルの蚭定

    　意図しないダりンロヌド開始を防ぐため、モデルを手動で蚭定した堎合の倀を初期倀に甚いおいたす。必芁に応じお倉曎しおください。

    　モデルを自動的にダりンロヌドしたい堎合は、基本的には䞋蚘のいずれかを遞択しおください。それ以倖の類䌌するモデルは、性胜こそほが同じですが叀いバヌゞョンです。なお、「600M」は性胜の劣る軜量モデルです。

    • 1024px (1K) 
 Efficient-Large-Model/Sana_1600M_1024px_BF16

    • 2048px (2K) 
 Efficient-Large-Model/Sana_1600M_2Kpx_BF16

    • 4096px (4K) 
 Efficient-Large-Model/Sana_1600M_4Kpx_BF16

    • 512px 
 Efficient-Large-Model/Sana_1600M_512px

    画像
    自動的にダりンロヌドされるモデルの遞択

    　モデルを手動で蚭眮した堎合は、蚭眮した䞭から利甚するモデルを遞択しおください。

    画像
    蚭眮したモデルの遞択

    　次に、「model」の蚭定を合わせたす。少し泚意を払えば、間違えるこずは無いでしょう。「dtype」はそのたたで構いたせん。

    • 1600M_1024px 
 SanaMS_1600M_P1_D20

    • 1600M_2Kpx 
 SanaMS_1600M_P1_D20_2K

    • 1600M_4Kpx 
 SanaMS_1600M_P1_D20_4K

    • 600M 
 SanaMS_600M_P1_D28

    画像
    ckpt_nameに合わせおmodelを遞択する

    â–Œ 2-4. VAEの蚭定

    　VAEは、䞋蚘のいずれかを遞択しおください。「vae_type」ず「dtype」は䞋蚘画面のずおりずしたす。

    • 自動的にダりンロヌドしたい堎合 

      mit-han-lab/dc-ae-f32c32-sana-1.0-diffusers

    • 手動で蚭眮した堎合 

      sana/diffusion_pytorch_model.safetensors

    画像
    VAEを遞択する

    　なお、遞択肢にある長い名前のものは、自動的にダりンロヌドした際に远加されたす。こちらを遞んでも差し支えはありたせん。


    ■ 3. 生成の実行

    â–Œ 3-1. はじめに

    　ここたでで、ワヌクフロヌの読み蟌みず蚭定が終わりたした。これより生成を行いたすが、VRAMが少ない堎合の蚭定を先に玹介したす。筆者は実機で確認しおいないため、その点はご了承ください。

    â–Œ 3-2. VRAM 6GBぞの察応

    　Text EncoderをCPU動䜜に倉曎するず、VRAMGPUメモリの䜿甚量が枛りたす。ただし、その分メむンRAMを䜿甚し、プロンプトの凊理に少しだけ時間を芁したす。「dtype」の蚭定に泚意しおください。

    画像
    VRAM 6GBの堎合の蚭定

    â–Œ 3-3. VRAM 8GBぞの察応

    　Text Encoderの粟床を萜ずすず、VRAMGPUメモリの䜿甚量が枛りたす。この方法は生成画像ぞの圱響が出るので、前項の蚭定に぀いおも怜蚎しおください。

    画像
    VRAM 8GBの堎合の蚭定

    â–Œ 3-4. 生成の実行

    　UI䞊の「Queue」をクリックするず生成を開始したす。初回や必芁時にはダりンロヌドが発生したす。

    　ワヌクフロヌではStepsを䜎めにしおいるので、品質を䞊げたい堎合は増やしおください。暙準は28皋床のようです。たた、CFGの倀も党䜓に圱響したす。

    画像
    生成を実行したずころ
    画像
    生成した画像

    â–Œ 3-5. 軜量モデルの利甚

    　芏暡が1600M1.6Bの暙準モデルに察し、600M0.6Bの軜量モデルもありたす。VRAM䜿甚量が枛り、速床も早いですが、品質が劣りたす。

    画像
    600Mのモデルで生成した画像steps=28, cfg=2.5


    ■ 4. おたけ

    â–Œ 4-1. 抂芁

    　先に、512px、1024px、2Kpx、4Kpxの各モデルの出力を掲茉したす。それから、過去のSanaの蚘事にあるプロンプトを甚いた画像8枚を掲茉したす。ここではアスペクト比を1:1に倉曎したす。

    â–Œ 4-2. 画像集1

    　プロンプトはワヌクフロヌのものず同じです。生成時間はRTX 3060VRAM 12GBの堎合で、モデルは読み蟌み枈みずしたす。

    　512px512x512は「Sana_1600M_512px_MultiLing.pth」を利甚したす。解像床が䜎いこずを考慮するず、そこそこの出力だず思いたす。20 Stepsの堎合、3秒を切る皋床で生成できたす。

    画像
    1600M 512pxの出力、䞋蚘はプロンプト
    anime style, child 1girl, waist up, long wavy blue hair, turquoise sundress, white butterflies, blurred forest and lake background, sunlit skin, flower crown, necklace and earrings, blue sky, white clouds

    　1024px1024x1024は「Sana_1600M_1024px_BF16.pth」を利甚したす。20 Stepsの堎合、9秒少々で生成できたす。

    画像
    1600M 1024pxの出力

    　2Kpx2048x2048は「Sana_1600M_2Kpx_BF16.pth」を利甚したす。20 Stepsの堎合、45秒前埌で生成できたす。VAE Decode時に共有GPUメモリぞはみ出し、やや時間を芁したす。

    画像
    1600M 2Kpxの出力

    　䞊蚘の画像を1024x1024の倧きさで切り取っおみたした。解像床が䞊がった分、粟现になっおいるこずがわかりたす。

    画像
    1600M 2Kpxの出力1024x1024でトリミング

    　4Kpx4096x4096は「Sana_1600M_4Kpx_BF16.pth」を利甚したす。20 Stepsの堎合、10分30秒皋床で生成できたす。VAE Decode時に共有GPUメモリぞはみ出し、かなりの時間を芁したす。このような条件でseedガチャをするのは珟実的ではなく、4Kpxモデルはi2iで䜿うこずになりそうです。

    画像
    1600M 4Kpxの出力

    　䞊蚘の画像を2048x2048の倧きさで切り取っおみたした。

    画像
    1600M 4Kpxの出力2048x2048でトリミング

    　さらに1024x1024の倧きさで切り取っおみたした。

    画像
    1600M 4Kpxの出力1024x1024でトリミング

    â–Œ 4-3. 画像集2

    　たずは、前回の蚘事で䜿甚したプロンプトです。

    画像
    anime style, 1girl solo standing, long cherry blossom hair, gentle spring smile, white flowing dress, pink hair ornament, sakura petals falling, blooming garden background, soft morning sunlight, pastel green grass, crystal clear stream, spring flower crown, delicate butterfly accessories, light breeze effect, pink cherry trees, baby blue sky, fresh spring meadow

    　これ以降は、蚘事「Sanaで画像の生成を詊すWindows+CUDA、芁VRAM 12GB」に掲茉したプロンプトを䜿甚しおいたす。そちらの方法ず比范しお、ComfyUIで生成するず圢が厩れやすいのが気になりたす完党に厩れる堎合もある。

    画像
    A cheerful kawaii kitten sitting under a pastel pink cherry blossom tree, with a glowing rainbow sign that sparkles with the name "Sana" in cute bubble letters. The kitten has big adorable eyes and is wearing a tiny flower crown, surrounded by floating hearts and stars
    画像
    A fairy girl with translucent wings gives a playful wink and blows a kiss in an enchanted forest glade. Her tilted flower crown catches the morning light as fireflies dance around her in the pastel-hued scene. Delicate wildflowers and glowing pollen float in the shimmering air.
    画像
    A manga-style pre-teen girl with light brown pigtails and gray eyes snuggles close to a large golden retriever. She wears a light green plaid dress with frills and a chest ribbon, paired with brown boots. The scene is set on a grassy hillside overlooking a distant lake, with scattered clouds in the blue sky and colorful flowers around them. Drawn in a vibrant pastel palette from a low angle, close-up perspective.
    画像
    A buff carrot superhero with muscular legs flexes in a garden, showing off to a laid-back tomato who lounges against a fence wearing sunglasses. Nearby, a clumsy potato stumbles around with tiny gardening tools, while a goofy cucumber attempts gymnastics on a trellis. The veggies have cartoonish faces with exaggerated expressions, and sparkles of afternoon sun make their antics even sillier.
    画像
    a cyberpunk cat with a neon sign that says "Sana"
    画像
    👧 with 🌹 in the ❄
    画像
    a stunning and luxurious bedroom carved into a rocky mountainside seamlessly blending nature with modern design with a plush earth-toned bed textured stone walls circular fireplace massive uniquely shaped window framing snow-capped mountains dense forests


    ■ 5. おわりに

    â–Œ 5-1. 所感

    　昚秋に登堎した独自アヌキテクチャずしおは頑匵っおいるず思いたすが、完成床はただただのように感じたす。たた、ComfyUIで生成するずさらに質が萜ちるのが気になりたす。

    　珟圚はアップデヌトが粟力的に行われおいお、埌継のSana 1.5も控えおいたす。䞀方、Sanaの栞心の䞀぀であるFlow-DPM-SolverがComfyUIでは未実装であるなど、䞍十分な点も吊めたせん。

    　StableDiffusion 3の埌にFLUX.1やAuraFlowがリリヌスされるなど、2024幎はアヌキテクチャが色々ず増えたした。Sanaもそのような時期に生たれたした。これらを実隓的に觊っおみるのも良いかもしれたせん。

    â–Œ 5-2. 最埌のおたけ

    　VAEはEncodeもできるので、i2iを行うこずができたす。

    　ここでは、1024pxモデルの出力を拡倧しお、2Kpxのモデルでi2iを行うワヌクフロヌを掲茉したす。Sana同士で行っおも質はあたり良くならないので、別の優れたアヌキテクチャず組み合わせた方が良いず思いたす。　

    画像
    Sanaでアップスケヌルを行うワヌクフロヌ
    画像
    Sanaでアップスケヌルを行うワヌクフロヌの出力䟋


    ■ 6. その他

    　私が曞いた他の蚘事は、メニュヌよりたどっおください。

    　蚘事に関するこずで䜕かありたしたら、Xの@riddi0908たでお願いしたす。



     
     

    たゆひらa

     
     
    5060Ti (16GB) ず 3060 (12GB) を所持。蚘茉が無い限り文章は手曞きです。蚘事に関するこずは X の riddi0908 たでお願いしたす。質問箱は気たぐれにお返事したす。

    あなたぞのおすすめ