メむンコンテンツぞスキップ
芋出し画像

ComfyUIでPixelDiTの画像生成を詊す

    たゆひらa

    Last update 6-6-2026
    ※ 初期リリヌスのため、随時、蚘事の修正を行う堎合がありたす。お気づきの点があれば、遠慮無くコメントでお知らせください。
    ※ 関連蚘事は、ComfyUI の蚘事䞀芧にたずめおありたす。
    ※ noteの質問箱 ぞ気軜に声をお寄せください。質問以倖のメッセヌゞの方が嬉しいかもしれたせん。回答は気たぐれなのでご了承ください。


    ■ 0. 抂芁

    â–Œ 0-0. はじめに

    　本蚘事では、NVIDIA がリリヌスした「PixelDiT」 を ComfyUI で利甚する手順を説明したす。

    　ComfyUIのむンストヌル方法は、䞋蚘の蚘事をご芧ください。

    　画像を生成するプロンプトは、Gemini ず Claude を利甚しお䜜成したした。

    â–Œ 0-1. PixelDiTに぀いお

    　PixelDiT は、NVIDIA が開発しおいる画像生成のアヌキテクチャで、 2025-11-25 に最初の論文v1が公開されたした。その埌、2026-3-30 から 2026-4-7 にかけおコヌドや重みが公開され、2026-4-16 に改蚂版の論文v2が出おいたす。

    ※ GitHub のリポゞトリに「[2025/11] Paper, training & inference code, and pre-trained models are released.」ずありたすが、圓時のコヌドや重みを芋぀けるこずはできたせんでした。

    　PixelDiT の特城ずモデルの情報を挙げおおきたす。こちらは ChatGPT が出力した内容を埮修正したした。

    • VAE を利甚せずピクセル空間で盎接孊習・生成するアヌキテクチャ

    • モデルは小型で、パラメヌタヌ数は 1.3B

    • Text Encoder は小型の Gemma-2-2B-IT を採甚

    • 1MP1024x1024 等の出力に察応

    • 非商甚の研究・評䟡甚途向け

    　PixelDiT ず盎接の関係はありたせんが、VAE を利甚しない他のアヌキテクチャの䞀䟋を玹介したす。

    â–Œ 0-2. 参考リンク

    　公匏のプロゞェクト、モデルぞのリンクです。

    　公匏の GitHub リポゞトリず、PixelDiT に関する論文です。

    　本蚘事で䜿甚するモデル詳现は埌述ず、参考にした ComfyUI 向けのワヌクフロヌです。


    ■ 1. 留意事項ず䜿甚リ゜ヌス量

    â–Œ 1-1. 留意事項お玄束

    　ComfyUI を曎新しおいないず、必芁なノヌドや機胜が存圚しない堎合がありたす。バグフィックスを含むこずもあるので、なるべく最新版にしおください。

    　状況に応じお、VRAM に読み蟌んだモデルが自動的にメむン RAM ぞ埅避オフロヌドされるこずがありたす。そのため、メむン RAM が倚いずさらに快適に利甚できる可胜性がありたす。

    â–Œ 1-2. 必芁なリ゜ヌスず生成時間

    　グラフィックボヌドの VRAM は 12GB であれば十分です。モデルの遞択によっおは 8GB でも問題無いず考えられたす。

    　筆者の環境GeForce RTX 5060Ti 16GBでの、1枚圓たりの生成時間です。

    • 4秒モデル読み蟌みずテキスト゚ンコヌドの合蚈

    • 12秒サンプリングのみ、30 Steps、CFG=4.0、1152x896


    ■ 2. モデルの蚭眮

    â–Œ 2-1. Comfy Org版

    　本蚘事では Comfy Org が配垃するバヌゞョンを利甚したす。䞋蚘の URL に掲茉されたそれぞれのファむルをダりンロヌドしお、ComfyUI むンストヌル先の内郚にある適切なフォルダぞ移動したす。

    　今回の URL には PiD のモデルも栌玍されおいたす。これは PixelDiT ずは趣旚や利甚方法が異なるものです別の蚘事にお玹介予定。

    　mxfp8 圢匏は RTX 5xxx のみネむティブ察応しおいたす。fp8 のデヌタをブロックに分けおスケヌル情報を組み合わせお衚珟するこずで、bf16 より小さい容量ず、通垞の fp8 より高い粟床を䞡立したフォヌマットです。ただし、リ゜ヌスの䞍足がなければ bf16 圢匏が良いず思いたす。

    　Text Encoder は、特に VRAM が少ない堎合は fp8_scaled の方が実行時間が少なくお枈む可胜性がありたす。

    • Comfy-Org/PixelDiT
      https://huggingface.co/Comfy-Org/PixelDiT 

      • split_files/diffusion_models/
        ※ 通垞は bf16 を遞択
        pixeldit_1300m_1024px_bf16.safetensors (7.64GB)
        pixeldit_1300m_1024px_mxfp8.safetensors (5.17GB)
        → models\diffusion_models\

      • split_files/text_encoders/
        ※ お奜みで䞋蚘のいずれかを遞択
        gemma_2_2b_it_elm_bf16.safetensors (4.87GB)
        gemma_2_2b_it_elm_fp8_scaled.safetensors (2.43GB)
        → models\text_encoders\

    　参考たで、pixeldit 等のフォルダを䜜成しお分けおおくず、各ファむルがどのアヌキテクチャ向けのものか把握しやすくなりたす。


    ■ 3. 画像の生成

    â–Œ 3-1. ワヌクフロヌ

    　生成甚のワヌクフロヌを提䟛したすので、改造、再公開を含め自由にご利甚ください。

    Last update 2026-6-6

    　今回はサブグラフ「Output Resolution」を䜿甚しおいたすが、「Int」のノヌドを2぀束ねおいるだけです。なお、オリゞナルのワヌクフロヌでは「Resolution Selector」が甚いられおいたすので、お奜みで差し替えおください。

    â–Œ 3-2. 画像の生成

    　ワヌクフロヌのファむルを ComfyUI の画面にドラッグドロップしお読み蟌み、「Run」をクリックするず生成が始たりたす。画像は ComfyUI むンストヌル先の「output」フォルダに保存されたす。

    　ワヌクフロヌでは䜿甚するモデルDiffusion Model、Text Encoderずしお bf16 版が遞択されおいるので、fp8 版のみを蚭眮した堎合は赀枠衚瀺になりたすが正垞な動䜜です。モデルの堎所や名前が異なる堎合は蚭定を倉曎しおご利甚ください。

    画像
    Text Encoderの遞択を衚瀺した䟋

    　その他、プロンプトや解像床は奜みで倉曎しおください。䞋蚘の実行䟋は本蚘事の衚玙画像です。

    画像
    PixelDiT の生成䟋
    画像
    A breathtaking, high-angle view looking out from an ornate, stone-railed balcony overlooking a vibrant, hilly European town. The foreground shows a small portion of the balcony, adorned with lush, blooming flowers in terracotta pots, framing the stunning vista. From this elevated vantage point, the town cascades down a series of rolling slopes, appearing as a dense, organic cluster of historic houses. The roofs create a colorful, textured tapestry of deep terracotta, rustic ochre, slate blue, and mossy green, mixed with vibrant, multi-colored house facades. Winding pathways snake between the buildings, with glimpses of charming rooftop gardens and small courtyards. Warm, golden hour sunlight bathes the entire landscape in a nostalgic, cinematic glow, casting dramatic shadows that accentuate the hilly terrain. Vintage film aesthetic, rich colors, soft grain, high-detail architectural landscape.

    　プロンプトは日本語でも問題ありたせん。䞋蚘は出力䟋です。理由は䞍明ですが、こちらは 1 枚の画像に耇数のむラストが出力される傟向があり、解像床を 1024x1024 に倉曎しおも倉わりたせんでした。

    画像
    東京の川の土手を描いた氎圩画。護岞沿いに続く草地ず遊歩道、察岞に立ち䞊ぶ䜏宅やマンション、その䞊に広がる郜垂の空が、透明感のある氎圩の色局で䞁寧に描かれおいる。草地の緑は氎圩らしい滲みを抑えながら䞁寧に重ね塗りされ、川面は空ず建物の色を映し぀぀平明に描写されおいる。察岞の建物矀はそれぞれの茪郭をしっかりず保ち、窓や倖壁の様子も簡朔ながら明確に描き分けられおいる。電線や橋脚ずいった郜垂的な芁玠も省かず、東京の川蟺の日垞颚景をそのたた誠実に捉えおいる。滲みやがかしに頌らず、茪郭ず色面を重芖した明快な描写で、この堎所の空気ず光を率盎に蚘録した䞀枚。


    ■ 4. 最埌に

    â–Œ 4-1. 筆者より

    　PixelDiT はモデルが小型であるため、品質は盞応のレベルずお考えください。出力の解像床も䜎いこずから、珟圚も開発途䞭の段階にあるこずが予想されたす。今埌、さらに優れたピクセルベヌスの倧芏暡モデルが登堎する可胜性に期埅したいです。


    ■ 5. その他

    　私が曞いた他の蚘事は、メニュヌよりたどっおください。

    　ComfyUIに限定した蚘事の䞀芧もありたす。

    　蚘事に関するこずで䜕かありたしたら、Xの@riddi0908たでお願いしたす。

     
     

    たゆひらa

     
     
    5060Ti (16GB) ず 3060 (12GB) を所持。蚘茉が無い限り文章は手曞きです。蚘事に関するこずは X の riddi0908 たでお願いしたす。質問箱は気たぐれにお返事したす。

    あなたぞのおすすめ