web-ui-foregeでFP8を使用してVRAM消費を減らせる！検証

2024年2月12日 11:22

<追記>この記事を作成した後に、FP8の内容について詳しく記載したものを作成しています。参考にしてください。

先日、上のissueでFP8についての議論がありました。
そこで、forgeでFP8を使用していることについての質問がありました。
まあ、そこでは「使えない」との質問でしたが。。。。

ただ、その議論を追っていくと、「使えない」から「プレビューが表示されない」に変更されました。
したがって、「使えることは使える」状態になったと思われます。

され、設定で「ＦＰ8」と調べると、以下のように項目がありました。

前回の記事でFP8について調べたことを記載しています。

ここで分かることは、
①使用VRAMが減少する
②画像の質は維持もしくは向上する
③時間は少し増えるかもみたいなところです。

FP8の使用の注意点としては、設定部にも記載されていますが、pytorchのバージョンが2.1.0以上必要ということです。

ローカル環境でforgeをインストールしている場合はデフォルトでpytorchのバージョンがそれを満たしています。

次の段階の話になりますが、ローカル環境の場合でも、Githubのサイトの議論で、チェックを入れるだけでは機能しないとありました(再起動を含む)。

そこで、前回記事のきっかけとなったAnimateDiffの作者さんが以下のようにコメントされていました。

訳：コマンドラインに「　--unet-in-fp8-e4m3fn　」を入れる

以上の内容に関して、ローカルで試してみました。

何もしていない場合
＜プロンプト＞
1girl,Valentine, spy x family, chibi, laughing, charisma:1.3, (field of flowers,flowers petals), pop art pose, ultra detailed,blouse, cardigan,upper body,
best quality, masterpiece
AND_SALT ((Valentine's day:1.2):0.6
AND_TOPK (unhappy:1.1):0.8

Time taken: 16.9 sec.

＜FP8にチェックを入れた場合＞

Time taken: 17.4 sec.

変化なし。

再起動して使用してみても同じ結果。

＜コマンドラインに文言を追加した場合＞
これは、web-uiを使用しているときと同様に
COMMANDLINE_ARGS=の後に入れます。
これは「webui」フォルダー内の「webui-user.bat」で行います。

立ち上げたときのコマンドプロンプトで、今のコマンドラインが記載されていることが確認されました。