AI日和-#10 話題のFLUX.1をComfyUIを使ってMacで立ち上げる

　最近、画像生成の分野でFLUX.1という元Stable Diffusionの開発者だった人達が立ち上げたBlack Forest Labs (BFL)から発表されたので、ハカセアイさんのnote記事を参考に立ち上げて触ってみました。（有料会員向けですが、とっても詳しい内容でいつも勉強になりますし、サポートもバッチリです。）

　今回はComfyUIを使って立ち上げます。元々Stable Diffusionを触り始めたときからStability Matrixを使ってComfyUIを立ち上げてあったので、そこのところは今回省略します。性能もMidjourney v6、DALLE3、Stable Diffusion3を上回るといわれています。
　バージョンは【Pro】【dev】【schnell】と3バージョンありますが、一番使いやすく、Hugging faceでいろいろ公開されているので、これで立ち上げる事にしました。

まずはWeightのダウンロード
Hugging FaceからWeightをダウンロードしてComfyUI/models/unetフォルダーに格納します。下記からflux1_dev.safetensorsをダウンロードします。いろんな方の解説では拡張子が.sftになっていますが、数日前に変わりました。

次はVAEをダウンロード

同じくHugging Faceからae.safetensorsをダウンロードしてComfyUI/models/vaeに格納します。（これも拡張子が.sftから.safetensorsに変わっています。）この辺の拡張子の違いがあとでWork FLowの設定で変更が必要です。

CLIPモデルのダウンロード

今度は下記のHugging Faceページから
clip_l.safetensors、
t5xxl_fp16.safetensors　または　t5xxl_fp8_e4m3fn.safetensors）をダウンロードして、ComfyUI/models/clipに格納します。
t5xxl_fp16.safetensorsはメモリが少なくても使えるバージョンのようなので、Macの僕はこちらを選びました。
（追記：t5xxl_fp8_e4m3fn.safetensorsも試しましたが、特に問題なく動作しました。もしかすると生成時間も早い気がします。）

Work Flowをダウンロード

ComfyUIのWork Flowも準備されているので、まずは動かすのが目的なので下記を使ってみます。

ご存知のように、ここに出てくる猫耳娘のイラストをComfyUIのワークスペースにDrag & DropするとWork Flowが立ち上がります。こんな感じ。

これで導入は完了です。

生成のためのセットアップ

InputのDualCLIPLoaderのところのclip_name1、name2をそれぞれ、さっきダウンロードしたものに変更します。

出したい画像のPromptをここに入れます。

最後に注意はデフォルトのWork Flowはそれぞれ.sftの拡張子で書いてありますので.safetensorsに変更してセット完了です。ここを変えないとこんなエラーメッセージが出て焦ります。

最後はQueue Promptをクリックすれば、あとは生成されるのを待つだけです。

お試し生成結果

今回はMIdjourney v6.1で生成したこの画像のPromptをそのまま使って生成しました。

FLUX.1の生成結果はこんな感じ。

ただのカエルになっちゃいました。💦
生成時間は早いと書いてありましたが、10分くらいかかってしまいました。僕のMacはM2でVRAMが24GBですが、やっぱり早いグラボの搭載されているWinマシンがSD用に欲しくなっちゃいます。
まだまだ調整は必要ですね。来週は夏休みなんで、色々と試してみる事にします。
追加でclipをt5xxl_fp8_e4m3fn.safetensorsでも試しました。

やっぱり普通のカエルになった。何でだろう？でも画質はこっちの方が良さそうです。

最後まで読んでくれてありがとうございます。高評価やスキをして貰えるととっても嬉しいです。更にコーヒーなんてご馳走して貰えると更に嬉しくなっちゃいます。皆さんのご参考になってもらえれば嬉しいです。

2024/8/7