Google Colab で はじめる Waifu Diffusion v1.2
「Waifu Diffusion v1.2」が二次元キャラの画像生成が得意らしいということで試してみました。
・Diffusers v0.3.0
・Waifu Diffusion v1.2
【最新版の情報は以下で紹介】
1. Waifu Diffusion v1.2
「Waifu Diffusion v1.2」は、「Stable Diffusion」を二次元イラストのデータセットでファインチューニングして作られた画像生成AIです。Danbooruの画像で学習しています。
2. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。
(2) パッケージのインストール。
# パッケージのインストール
!pip install diffusers==0.3.0 transformers scipy ftfy(3) StableDiffusionパイプラインの準備。
モデル名に"hakurei/waifu-diffusion"を指定します。
import torch
from torch import autocast
from diffusers import StableDiffusionPipeline, DDIMScheduler
# StableDiffusionパイプラインの準備
pipe = StableDiffusionPipeline.from_pretrained(
"hakurei/waifu-diffusion",
torch_dtype=torch.float16,
revision="fp16",
scheduler=DDIMScheduler(
beta_start=0.00085,
beta_end=0.012,
beta_schedule="scaled_linear",
clip_sample=False,
set_alpha_to_one=False,
),
).to("cuda")(4) テキストから画像の生成。
今回は、猫耳メイド(cute cat ear maid)で画像生成してみました。
# テキストからの画像生成
prompt = "cute cat ear maid"
with autocast("cuda"):
images = pipe(prompt, guidance_scale=7.5).images
images[0].save("output.png")(5) 生成した画像の確認。
左端のフォルダアイコンでファイル一覧を表示し、output.pngをダブルクリックします。
