日本人が開発した「Regional Prompter」がなかなかすごい！

先日の年賀状クイズより。

答えは「Regional Prompter」！

https://github.com/hako-mikan/sd-webui-regional-prompter

複数人物や領域を個別にプロンプト指定できる拡張機能です。

似たような目的では「Latent couple extention」がありましたが、その後継、日本人が開発した「Regional Prompter」がなかなかすごい！

flower garden background
AND a man, short brown hair, black suit, red tie, modelshoot style
AND beautiful cute woman, long black hair, white wedding dress

元々は「ashen-sensored/stable-diffusion-webui-two-shot」というプロジェクトからフォークしたプロジェクトで、ANDを使うことでプロンプトの有効範囲を区切ることができます。雰囲気を揃えながら異なる男女を同じ1枚の画像に収めることができています。

さて、「Latent couple extention」はプロンプトごとにU-Netの計算を行っていますが、今回紹介する「Regional Prompter」はU-Netの内部でプロンプトごとの計算を行います。

しかも作者が日本人で日本語マニュアルも完備されています。

https://github.com/hako-mikan/sd-webui-regional-prompter/blob/main/README.JP.md

使い方は簡単です。

まずはインストールは「Extentions」の「Install from URL」にこちらのURLを入れて「Install」。

特にエラーが出なければ「Installed」のタブから「Apply and quit」で一旦WebUIを終了させ、Google ColabやStability Matrixを再起動します。

例えば こんな画像のimage2imageを処理するとします。

例えばこの画像の左右を描き分けしたいと思った場合…
画像の下の方にある「Regional Prompter」を開いて
☑ Active
🔘Columns（縦に割る）
☑Use Base Prompt
さらに「Visualize and make template」として「Divide Ratio」（分割率）を確認します。この場合はちょうど 1:1 で中央から分割するイメージです。

下の画像ドロップに参考画像を入れておくと、よりわかりやすくなります。

プロンプトは以下の通りになります

1行目がベース、2行目が左半分、3行めが右半分となります。
つまり「全体が2人の女性、白い着物」、左は「緑のツインテール、黄色い瞳」、右が「ピンクヘア、碧眼」ということになります。

Base Ratioを 0.2, 0.5, 0.7と上げていきつつ、img2imgの denoisingパラメータを {0.4, 0.5, 0.6, 0.7}と上げていき、どのような影響が現れるか観察してみます。

さらに人物によってLoRAを使い分けることもできます。

なおこの機能拡張には新機能「差分生成・差分アニメ」が追加されています。

https://github.com/hako-mikan/sd-webui-regional-prompter/blob/main/differential_ja.md

デモのGIFアニメは圧巻です！

scirptの中にあるDifferential Regional Prompterを選択します。Regional Prompterはインストールされていれば他に設定する必要はありません。

いつくか実験してみましょう