img2img入門(4) Extraを使って画像を超解像化してみよう

『image-to-image入門』、前回はStable Diffusionで生成したPNG画像をWebUIの「PNG Info」にドロップすることによってプロンプトや設定を復元できることを学びました。

image-to-image(i2i)とは

『image-to-image』（以下『i2i』）とは、画像とテキストプロンプトをもとにして、新たな画像を生成する方法のことです。これにより、テキストのみでは伝えにくかった細かい雰囲気や色味などが再現しやすくなります。また、text2image(t2i)で生成した画像の一部分のみの修正も行うことができます。

今回は前回に引き続き「AUTOMATIC1111 Stable Diffusion WebUI」画面上部のタブにある超解像化技術「Extra」を学んでみましょう。

前回と同じく「PNG Info」のタブから画像をドロップして数秒待つと……

右側にこんな感じに表示されています。

更に下側にあるこの4つのボタンを押すと、次のステップにこの情報と画像を持っていくことができます。

「Send to txt2img」テキストからの画像生成へ
「Send to img2img」i2iのプロンプトへ
「Send to inpaint」インペイントのプロンプトへ
「Send to extras」画像の拡大機能へ持っていきます。

Send to extras

何も考えずにそのまま「Generate」を押せば、右側に4倍高解像度（縦方向2倍、横方向2倍）に超解像された画像が生成されます。あまりに速くてびっくりです。
Resizeのパラメータを「4」から「8」にすると更に大きくなります。

アップスケーラ（Upscaler）を設定すると画質が変わります。

R-ESRGAN 4x + Anime6Bを設定してさらにアップスケーリングしてみます。

画像の印象を壊さずに超解像度になっていきます。しかもとても高速です。
Extrasは画像生成やPNG Infoからだけではなく、一般の画像でも処理することができます。

大画面ディスプレイや印刷物でも効果を発揮します。

超解像技術はStable Diffusionの裏側で使われている技術の一部になりますが、なんだかオトクな気分ですね。

続くi2iのテクニックでは、小さめに生成した画像を拡大していく過程で詳細を描きこんでいく技術がいくつかあります。Stable Diffusionの高解像度化技術で有名なテクニックは「Hirez. Fix」やアップスケーラー、「Ultimate SD Upscale」スクリプトなどがありますが、VRAM8GB以上必要となるケースも多くあります。VRAMの消費を抑えつつ、「高品質に拡大したい」という場合によく使うツールです。覚えておいていただければ幸いです。

次回は「インペイントの基本」です！

※本ブログは発売予定の新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！