AI イラストは緑に変色する？ SDXL と Flux の VAE の精度と色を徹底比較！ 【画像生成 AI】

はじめに

こんにちは、きまま / Easygoing です。

今回は、画像生成 AI で必ず耳にする、VAE について調べてみたいと思います。

画像生成は、莫大な計算が必要

画像生成は、行列演算を繰り返し行うので 膨大な計算 が必要になります。

現在の 画像生成 AI では、VAE（Variational Auto Encoder：可変オートエンコーダー）と呼ばれる 専用の AI モデル を使って空間を圧縮し、効率よく計算を行っています。

VAE によって圧縮された空間のことを 潜在空間（latent space）と呼び、ここで処理される画像は特に 潜在画像（latent image）と呼ばれています。

通常は 1024 x 1024 x 3 の情報量

SDXL 以降の 画像生成 AI モデルでは、標準の解像度は 1024 x 1024 が設定されています。

さらに、私たちが利用している RGB 色空間 では、赤（Red）・緑（Green）・青（Blue） の３つの色のチャンネルがあり、合計で 1024 x 1024 x 3 の情報量が存在します。

VAE で、48分の1 に圧縮する！

VAE は、代表的なものに注目すると、SD1.5_vae → SDXL_0.9_vae → Flux.1_vae → Flux.2_vae の順に進化しています。

• SD1.5_vae

• SDXL_0.9_vae

• Flux.1_vae

• Flux.2_vae

このうち SDXL_0.9_vae は、縦横の解像度をオリジナルの 8分の1 の 128 x 128 に圧縮し、さらにチャンネルを 潜在空間専用の 4チャンネル に変換することで、情報量を元の 48分の1 に圧縮しています。

VAE で画像が劣化する！

VAE を通すと画質はどのように変化するのでしょうか？

実際に ComfyUI で VAE encode → VAE decode を実行して画像の変化を確かめてみます。

今回の分析で利用する Image Difference Checker ノードは、2つの画像の 差分マップ を表示して、 MAE と SSIM で画像の違いを数値化し、さらに トーンカーブ で色の変化を確認することができます。

• Mean Absolute Error (MAE)：主にカラーの違いを検出

• Structural Similarity Index (SSIM)：白黒の構造の違いを検出

ComfyUI-easygoing-nodes カスタムノード

実際の画像で比較！

それでは、実際の画像で比較してみましょう。今回は SD1.5_vae、SDXL_0.9_vae、 Flux.1_vae、Flux.2_vae の4つの VAE のそれぞれの精度を見てみます。

１．白い制服（アニメ）

差分マップ

まず、差分マップで元画像からの変化を見てみると、SD1.5_vae では主に キャラクターの輪郭部分 に 画質の劣化 が生じているのが分かります。

SDXL_0.9_vae でも同じ部分に劣化が生じていますが、先ほどの SD1.5_vae と比べると程度はかなりマシになっています。

Flux.1_vae と Flux.2_vae では、元画像からの変化がかなり小さくなっていて、両者ともに 劣化の少ない優秀な VAE であることが分かります。

MAE と SSIM

それでは、MAE と SSIM を計算して VAE の精度を数値で比較してみます。

VAE は、世代を経るごとに精度が向上していますが、唯一 Flux.2_vae の MAE が Flux.1_vae より劣っていて、色の再現性は Flux.1_vae の方が良い 結果になりました。

色の変化

次に色の変化を確認すると、SD1.5_vae は元画像と比較して 緑が少なく なっている一方で、Flux.2_vae では逆に 赤と青が増えている ことが分かります。

１枚のイラストでは、あまりはっきりした傾向は分からないので、それぞれの VAE について、さらに４枚のイラストを比較してみます。

２．港の夜景（アニメ）

• MAE と SSIM の変化は同じ傾向

• SDXL_0.9_vae は 緑が増える

３．赤い花（アニメ）

• Flux.2_vae が、MAE と SSIM の変化が最も少ない

４．離陸（実写）

• Flux.1_vae と Flux.2_vae は同等

５．油絵（実写）

• Flux.1_vae と Flux.2_vae は同等

５つのイラストの平均を見る

それでは、今回測定した５つのイラストの平均を見てみましょう。

画像の変化

• VAE を通すと 画像は 0.2 〜 2 % 劣化

• 色の正確性（MAE）：Flux.1 > Flux.2 > SDXL > SD1.5

• 構造の正確性（SSIM）： Flux.2 ≒ Flux.1 > SDXL > SD1.5

まず、VAE を通すと 画質は 0.2 〜 2 % 程度劣化 します。

VAE は、SD1.5 → SDXL は順当に進化して精度が上がっていますが、SDXL → Flux.1 は性能が大幅に向上した 飛躍的な進化 であることが分かります。

Flux.1 は、潜在空間のチャンネル数が 4→16 になって情報量が SDXL の 4倍 に増えていて、この 情報量の増加 が精度の大幅な改善につながったと考えられます。

色の変化

続いて、VAE ごとの色の変化を確認します。

• SD1.5_vae：全体が暗くなる、紫に変色する

• SDXL_0.9_vae：緑に変色する

• Flux.1_vae：ほぼ正確

• Flux2_vae：紫に変色する

色について確認すると、SD1.5_vae は全ての色が減少しているので イラスト全体が暗く なり、その中でも特に 緑が大きく失われている ことが分かります。

SDXL_0.9_vae について見ると、全体の色の変化は SD1.5 より少ないですが、その代わり今度は 緑が増えている ことが分かります。

Flux.1_vae は色の再現が優秀で、変化はほとんどありません。

Flux.2_vae は、赤と青（マゼンタブルー） が強調 されていて、これはおそらく AI イラスト でノイズを除去するときに失われがちな青と赤を補色 する、意図的な補正 がされていると予想できます。

改良型の SDXL の VAE を作る！

今回、SDXL_0.9_vae が緑に変色することが分かったので、アニメイラスト用に MAE と SSIM の変化が最も少ない、オリジナルの色表現に忠実な SDXL_anime_natural_vae を調整してみました。

SDXL_anime_natural_vae

SDXL_anime_natural_vae は、実際にMAE と SSIM の数値を見ながら調整を行ったので、数値上はオリジナルと比較して 精度が大きく向上 しています。

SDXL_anime_natural_vae は元画像からの変化が少ないので、特に Hires.fix や Detailer を利用するような、VAE の処理を繰り返すワークフロー で画質の向上が期待できます。

SDXL_anime_clear_vae

また、同じページで公開している SDXL_anime_clear_vae は、イラスト全体を暗くしてコントラストを上げて、重厚感を強調する味付け をした VAE になっています。

こちらは、先程の SDXL_anime_natural_vae と比べると癖があるので、全てのイラストにおすすめできるわけではありませんが、一度試して表現が合うようであれば、使ってみると良いと思います。

FP32 形式 と BF16 形式で画質は違う？

今回の検証は、VAE のうち最も精度の高い FP32 形式 を利用して行いました。

実際は、画像生成で一番使われることの多いのは FP16 /  BF16 形式 の VAE だと思うので、最後に FP32 形式 と BF16 形式の画質を比べてみます。

sdxl_anime_natural_vae_BF16

FP32 形式 は、BF16 形式 と比べて ごく僅かですが画質が優れています。

イラストの生成で最高画質を追求するときは、FP32 形式の VAE を試してみても良いでしょう。

FP32 形式の VAE の利用方法

ComfyUI で FP32 形式の VAE を使うときは、FP32 形式のモデルをダウンロード した上で、--fp32-vae の引数をつけて ComfyUI を起動してください。

ComfyUI の起動引数の設定方法

環境にもよりますが、起動引数をつけない場合は、FP32 形式のモデルであっても BF16 形式で実行されることが多くなります。

Flux.2_vae は何が優れている？

最後に、Flux.2 の VAE について Shiba*2 さんが詳しく解説されている記事をご紹介します。

今回は、オリジナルの画像との比較で VAE の性能を測定したので、Flux.1_vae と Flux.2_vae にあまり差がない結果になりました。

Flux.2_vae は、画像が持つ「意味」を理解する 新世代の VAE なので、他の検証方法や今後の改良によって、さらに性能が向上する可能性があります。

まとめ

• SDXL の VAE は緑に変色する

• Flux の VAE は精度が高い

• SDXL_anime_natural_vae の紹介

今回は、VAE について調べてみました。

VAE は、UNET / Transformer やテキストエンコーダーと違って、どのようにイラストに影響するのか分かりにくいですが、今回 Image Difference Checker ノードを使うことで、VAE の精度を客観的に比較することができました。

今回ご紹介した SDXL_anime_natural_vae は、通常の VAE の代わりに使用するだけで画質が向上する可能性があるので、みなさんも気軽に試してみてはいかがでしょうか？

これからも、AI イラスト の画質をいろいろな角度から追求していきたいと思います。

最後までお読みいただきありがとうございます！

English Article