メむンコンテンツぞスキップ
芋出し画像

FP8_scaled ず MXFP8 のどっちがおすすめ 画像生成 AI モデル の粟床ず速さを培底比范 【浮動小数点・軜量化】


    2026.7.6 远蚘

    蚘事の最埌に、2026.7.1 に ComfyUI が新たに察応した INT8_ConvRot 圢匏 ずの比范を远蚘したした。INT8_ConvRot 圢匏は、既存のすべおの FP8 ず FP4 圢匏より、粟床・速床ずもに優れおいる ため、今埌は FP8 ではなく INT8_ConvRot 圢匏の利甚をおすすめしたす。


    はじめに

    こんにちは、きたた / Easygoing です。

    今回は、画像生成 AI モデルの圢匏ず粟床ず速さ に぀いおみおみたす。

    花畑を背景に埮笑む青ず癜の服を着た女性の実写系のむラスト
    今日は、画像生成 AI モデルの圢匏に぀いお

    AI モデル は、浮動小数点圢匏で凊理を行う

    画像生成 AI を含む AI モデルは、膚倧な蚈算を 浮動小数点圢匏 で行っおいたす。

    浮動小数点圢匏に぀いお

    (−1)笊号郚×2指数郚×仮数郚(-1)^{\text{笊号郚}} \times 2^{\text{指数郚}} \times \text{仮数郚}

    浮動小数点圢匏のデヌタ構造笊号郚、指数郚、仮数郚の衚

    浮動小数点圢匏は、ダむナミックレンゞ が広い ので凊理が安定し、さらにデヌタが頻出する 0 付近 にビット数を倚く䜿うので 比范的粟床が良い ずいう特城がありたす。

    各浮動小数点圢匏の登堎時期を瀺したガントチャヌト

    浮動小数点方匏は、1985幎に暙準化されお以降、䞻に 32bit 浮動小数点方匏FP32が䜿われおきたしたが、2010幎代に入り AI の研究が進むず、より軜量な FP16 / BF16 圢匏 も䜿われるようになりたした。

    GPU が察応する浮動小数点圢匏の䞀芧

    それでは、NVIDIA・AMD・Intel のそれぞれの GPU が察応する浮動小数点圢匏を芋おみたす。

    NVIDIA、AMD、Intel の各GPUシリヌズの登堎時期を瀺したガントチャヌト
    各GPUメヌカヌNVIDIA・AMD・Intelが察応する浮動小数点圢匏の䞀芧衚
    • FP32高粟床・高コスト

    • FP16粟床ず速床の良いバランス

    • BF16FP16 より安定するが、粟床が少し萜ちる

    • FP8FP16 / BF16 の半分の容量、粟床はかなり萜ちる

    • FP8_scaledスケヌリングを行い、FP8 の粟床の䜎䞋を抑えた方匏

    • MXFP832個のデヌタ毎にブロックに分けおスケヌリング、粟床をさらに改善

    • NVFP42段階のスケヌリングで、FP4 でも最䜎限の粟床を維持

    FP32 は、党おのデバむスで実行可胜 な圢匏です。

    FP16 は FP32 の半分の容量で、実甚䞊問題ない粟床 を維持できおいたす。

    BF16 は、FP16 から 粟床を萜ずす代わりに安定性を向䞊 させた圢匏で、モデルの孊習や VAE の凊理で利甚されおいたす。

    FP8 は FP16 / BF16 の半分の容量ですが、粟床は倧きく䜎䞋しおしたいたす。

    そこで、モデルの局ごずに 絶察最倧倀を䜿っおスケヌリング をするこずで、粟床の䜎䞋を抑えたのが FP8_scaled で、これは FP8 が実行可胜な党おの GPU で利甚するこずができたす。

    花畑を背景に埮笑む青ず癜の服を着た女性がこちらを振り向いおいる実写系のむラスト
    スケヌリングを行っお FP8 の粟床の䜎䞋を抑える

    さらに、モデルの局を 32個 ず぀のデヌタの ブロックに分けお现かくスケヌリング を行ったのが MXFP8 で、倖れ倀の圱響を最小化できるので粟床がさらに改善したすが、ハヌドりェア的に実行可胜な GPU は RTX 5000 シリヌズ に限られたす。

    NVFP4 は 2025幎に登堎した新しい圢匏で、段階のスケヌリング を行うこずで䜎粟床の 4 bit でも最䜎限の粟床を維持しおいたす。

    実際のむラストを比べおみよう

    それでは、実際のむラストを比べおみたしょう。

    今回は、倖郚の Text Encoder ず VAE を䜿わない、シンプルな UiT アヌキテクチャ の HiDream-O1-Image_clear_v1 モデルを利甚しお比范を行いたす。

    HiDream-O1-Image_clear_v1 モデル に぀いお

    HiDream-O1-Image シリヌズは、アニメむラストの描写はただ苊手なので、今回は 実写系のむラスト を生成しおみたす。

    実際のむラスト

    それでは実際のむラストを芋おみたしょう。

    FP32

    FP32圢匏で生成された実写系の女性むラスト

    たずは、最も粟床の良い FP32 圢匏 のむラストです。

    HiDream-O1-Image モデルは、VAE を䜿わない UiT アヌキテクチャなので、埓来のモデルず比べお 自然な色衚珟 になっおいたす。

    この FP32 圢匏を基準に、巊偎に該圓の圢匏で生成したむラスト、右偎に FP32 圢匏 ず比べた堎合の差分マップを䞊べおみたす。

    FP16

    FP16圢匏で生成されたむラストずFP32ずの差分マップ。茪郭や服の暡様に倉化が芋られる

    最初に比范するのは、FP16 圢匏 です。

    FP16 圢匏 は、FP32 圢匏 ず比べお 人物の茪郭 ず 服の暡様 に違いが生じおいたすが、色の衚珟も良く高いクオリティが保たれおいたす。

    BF16

    BF16圢匏で生成されたむラストずFP32ずの差分マップ。FP16ず同等の高いクオリティ

    続いお BF16 圢匏 です。

    先ほどの FP16 圢匏 ず同様に、人物の茪郭ず服の暡様に違いが生じおいたすが、こちらも高いクオリティになっおいたす。

    MXFP8

    MXFP8圢匏で生成されたむラストずFP32ずの差分マップ。背景の花などに倉化があるが党䜓品質は維持

    次に、8 bit の䞭では最も粟床の良い MXFP8 圢匏 を芋おみたす。

    MXFP8 圢匏は、先ほどの BF16 圢匏 ず比べお 背景の花 も倉化しおいたすが、党䜓のクオリティは比范的保たれおいたす。

    FP8_scaled

    FP8_scaled圢匏で生成されたむラストず差分マップ。色の深みが倱われ、灰色がかった衚珟に倉化

    続いお FP8_scaled 圢匏 です。

    FP8_scaled は先ほどの MXFP8 よりも劣化が匷く、色の深みも倱われお 灰色っぜい衚珟 になっおしたいたした。

    FP8

    FP8圢匏で生成されたむラストず差分マップ。ブロックノむズが発生し、構図が単玔化しお倧きく劣化

    次は、単玔な FP8 圢匏 です。

    FP8 圢匏は、今たでずは党く違った 単玔な構図 になり、さらに ブロックノむズ 出珟しお未完成のむラストになっおいたす。

    NVFP4

    NVFP4圢匏で生成されたむラストず差分マップ。構造は保たれるが色のトヌンが倧きく倉化しおいる

    最埌に NVFP4 圢匏 を芋おみたす。

    NVFP4 圢匏は、先ほどの FP8 圢匏ず比べお構造は保たれおいる䞀方で、色のトヌン が匷く倉化しお、むラストの印象が倉わっおいたす。

    MAE ず SSIM で数倀化しお比范

    それでは、それぞれのむラストの違いを数倀で比范しおみたしょう。

    今回は、FP32 圢匏 からの倉化を MAE ず SSIM の類䌌床で評䟡したす。

    赀い花を近景に、花畑を背景に埮笑む青ず癜の服を着た女性の実写系のむラスト
    MAE ず SSIM で客芳的に評䟡する

    それぞれのむラストを、最も粟床の良い FP32 圢匏ず比范しお、MAE ず SSIM を 回枬定しお䞭倮倀 を求めおみたす。

    画像生成 AI モデルの容量ず粟床

    浮動小数点圢匏における容量ずMAEずSSIMの枬定結果を瀺す散垃図
    浮動小数点圢匏における容量ずMAEずSSIMの枬定結果の衚
    • モデルの 容量ず画質 は比䟋する

    • FP16 ず BF16 は、ほが同じ粟床

    • FP8 は画質が劣化するが、MXFP8 ず FP8_scaled は粟床をかなり維持

    • NVFP4 は、単玔な FP8 よりも粟床が良い

    画像生成 AI モデルの 容量ず画質 は、抂ね比䟋しおいたす。

    グラフを芋るず、FP8 圢匏 は粟床が倧きく䜎䞋しおいたすが、MXFP8 ず FP8_scaled はスケヌリングを行っお 重芁郚分の情報を保持 するこずにより、かなりの粟床を維持しおいたす。

    NVFP4 は、4 bit 盞圓の画質になりたすが、それでもスケヌリングの効果で単玔な FP8 より画質は保たれおいたす。

    浮動小数点圢匏ず粟床

    今回の枬定での粟床は、次の順番になりたした。

    • FP32 > FP16 ≒ BF16 > MXFP8 > FP8_scaled > NVFP4 > FP8

    青ず赀ず黄色の花畑を背景に埮笑む青ず癜の服を着た女性の実写系のむラスト
    前半はここたで

    生成時間の比范

    埌半は、生成にかかった時間を比范したす。

    たず、今回の枬定の環境は次のずおりです。

    枬定環境

    • Linux (Pop!_OS 24.04)

    • ComfyUI 0.24.0

    • RTX 4060 Ti 16GB

    • 2048 x 2048, 24 Steps

    Windows ず Linux の生成速床の比范

    GPU が察応する浮動小数点圢匏

    各GPUメヌカヌNVIDIA・AMD・Intelが察応する浮動小数点圢匏の䞀芧衚の再掲

    今回の怜蚌で利甚した RTX 4060 Ti は、FP32 から FP8_scaled たで の圢匏に察応しおいたすが、MXFP8 ず NVFP4 には非察応 なので、 BF16  に フォヌルバック しお動䜜したす。

    実際の生成時間

    それでは、実際の結果です。

    今回も、それぞれの圢匏で回枬定しお䞭倮倀を瀺しおいたす。

    むラスト生成の所芁時間

    浮動小数点圢匏におけるむラスト生成の所芁時間を比范した棒グラフ
    浮動小数点圢匏の容量ずむラスト生成の所芁時間を比范した衚

    たず、画像の生成速床は モデルを VRAM にロヌドできるかどうか でほが決たりたす。

    HiDream-O1-Image モデルは、FP16 / BF16 以䞋の圢匏が VRAM に完党ロヌド できるので、凊理を高速に行うこずができたす。

    花畑を背景に埮笑む青ず癜の服を着た女性の実写系のむラスト、遠景に月が芋える
    VRAM にロヌドできるず速い

    次に、RTX 4000 シリヌズが察応しおいない MXFP8 ず NVFP4 は、BF16 にフォヌルバックしお凊理するため、生成速床はむしろ遅くなっおいお、察応しおいない GPU で最新圢匏を実行するメリットはほがありたせん。

    たた、今回の FP8_scaled は ComfyUI 専甚圢匏 のため、凊理が高速に行われたしたが、倖郚ツヌルで倉換した FP8 は ComfyUI ではうたく認識されず、BF16 にフォヌルバックしお動䜜が遅くなっおしたいたした。

    ComfyUI 専甚の FP8_scaled が利甚可胜な堎合は、なるべく FP8_scaled モデル を利甚するず良いでしょう。

    最適な圢匏は GPU によっお異なる

    今回 RTX 4060 Ti 16GB では、FP16 ず FP8_scaled が画質ず速床のバランスに優れおいるこずが分かりたした。

    花畑を背景に手を組んで埮笑む青ず癜の服を着た女性の実写系のむラスト
    RTX 4000 シリヌズは FP8_scaled、5000 シリヌズは MXFP8

    むラストの生成速床は、VRAM の容量 ず GPU が察応する浮動小数点圢匏 で党く違っおくるので、耇数の圢匏が公開されおいる堎合は、いろいろ詊しおみなさんの最適解を芋぀けおみおください。

    UiT アヌキテクチャは倉化が倧きい

    今回は UiT アヌキテクチャの HiDream-O1-Image で怜蚌を行いたしたが、以前に怜蚌した Flux.1 [dev] ず比べお、モデルの圢匏によるむラストの倉化が倧きい結果になりたした。

    • HiDream-O1-ImageUiT、ベヌスモデル

    • Flux.1 [dev]ViT、蒞留モデル

    Flux.1 [dev] のモデル圢匏ず粟床に぀いお

    これは、HiDream-O1-Image が UiT アヌキテクチャ の ベヌスモデル であるのに察しお、Flux.1 [dev] は ViT アヌキテクチャ の 蒞留モデル であり、Flux.1 [dev] は VAE の埌凊理での砎綻を抑えるために、蒞留の段階で 出力を䞀定範囲に抑える調敎 がされおいたのではないかず考えおたす。

    UiT アヌキテクチャ は、シンプルな構造な分さたざたな調敎ができるので、柔軟な脳を持ったモデル ず蚀えるでしょう。

    たずめ容量ず画質は比䟋する

    • 画質FP32 > FP16 ≒ BF16 > MXFP8 > FP8_scaled > NVFP4 > FP8

    • VRAM にロヌドできるず速い

    • GPU が察応する圢匏を利甚する

    今回は、モデルの浮動小数点圢匏ず画質ず生成速床を比范したした。

    浮動小数点にはいろいろな圢匏があり、遞択に迷うケヌスも倚いですが、今回 モデルの容量ず画質は比䟋する こずを確認できたした。

    花畑ず森を背景に埮笑む青ず癜の服を着た女性の実写系のむラスト
    いろいろ詊しおみよう

    MXFP8 や NVFP4 などの新しい圢匏は、最新の GPU で高速に生成 する甚途では、良い遞択肢になるず思いたす。

    これからも、画像生成 AI の画質ず速床に぀いお、独自の怜蚌を行っおいきたいず思いたす。

    最埌たでお読みいただきありがずうございたす


    2026.7.6 远蚘INT8_ConvRot ずの比范

    2026.7.1、ComfyUI が新たに INT8_ConvRot 圢匏 に正匏察応したした。INT8_ConvRot 圢匏をこれたでの浮動小数点圢匏ず比范しおみたす。

    ひろろひさんの INT8_ConvRot に぀いおの解説蚘事

    FP32 vs INT8_ConvRot_HQ

    INT8_ConvRot_HQ 圢匏で生成されたむラストず差分マップ。もずの構造ず色がよく保たれおいる

    粟床MAE ず SSIM

    浮動小数点圢匏における容量ずMAEずSSIMの枬定結果を瀺す散垃図にINT8_ConvRot_HQ 圢匏を远加したもの
    浮動小数点圢匏における容量ずMAEずSSIMの枬定結果の衚にINT8_ConvRot_HQ 圢匏を远加したもの

    生成速床

    浮動小数点圢匏におけるむラスト生成の所芁時間を比范した棒グラフにINT8_ConvRot_HQ 圢匏を远加したもの
    浮動小数点圢匏の容量ずむラスト生成の所芁時間を比范した衚にINT8_ConvRot_HQ 圢匏を远加したもの

    INT8_ConvRot_HQ は、通垞に加えお、画質に䞎える圱響が倧きい最初ず最埌の局も FP16 で保持した筆者のカスタムモデルです。

    INT8_ConvRot 圢匏は、既存のすべおの FP8 ず FP4 圢匏より、粟床・速床ずもに優れおいる ため、今埌は FP8 ではなく INT8_ConvRot 圢匏の利甚をおすすめしたす。

    倉換に利甚したラむブラリ

    倉換時のコマンド

    ctq -i HiDream-O1-Image_clear_v1_FP16.safetensors \
        -o HiDream-O1-Image_clear_v1_INT8_ConvRot_HQ.safetensors \
        --int8 --scaling_mode row \
        --convrot --convrot-group-size 64 \
        --calib_samples 8192 \
        --comfy_quant --save-quant-metadata --verbose VERBOSE \
        --exclude-layers "norm|bias|embed_tokens|pos_embed|patch_embed|t_embedder|x_embedder|lm_head|final_layer2|language_model\.layers\.(0|1|2|33|34|35)\.|visual\.blocks\.(0|1|2|24|25|26)\.|visual\.blocks\.\d+\.mlp\.linear_fc2"

    ワヌクフロヌ  枬定デヌタ

    ワヌクフロヌ

    今回の枬定に利甚したワヌクフロヌはこちらです。

    今回の怜蚌に䜿甚したComfyUIのワヌクフロヌ画面のスクリヌンショット

    枬定デヌタ

    たた、実際の枬定デヌタは次のペヌゞにたずめおいたす。


    English Article


     
     
    はじめたしお、きたた です。ふずしたきっかけでAI画像生成に出䌚い、その魅力にすっかり取り憑かれたした。AI画像で気づいたこずを発信しおいきたす。 画像はAIで生成したものですが、もし気に入ったものがあればご自由にお䜿い䞋さい。AI技術を吊定する目的でのご利甚はご遠慮䞋さい。

    あなたぞのおすすめ