やばすぎるAI画像生成サービス「Stable Diffusion」始まる。【簡単解説 & 応用 & Prompt付生成事例集】

やまかず

2022年8月21日 17:38

※ 画像生成AI業界進化早すぎて追いつけない.. って声をよく聞いたので最新情報を毎日マガジンでまとめています。 (2022.9.4)

※ 深津さんより早く、めっちゃ検証して事例まとめて分かりやすく伝えたつもりだったけど深津さんの発信力強すぎて埋もれちゃった..。あと深津さんのワクワクさせる文章力がすごい (2022.8.22)

はじめに

Stable Diffusion本格始動…！！

DreamStudio β（オンライン版 stable diffusion）いよいよ開始されましたね！
https://beta.dreamstudio.ai/

ずっと海外のsnsサービスで最新情報張ってたので、公開された瞬間利用し始めてコツコツ検証してnoteまとめていたのですが..さらっとabubuさんに早めに出されてしまい悔しい..

海外でLeakされたWeight使って早めに使えないか、google colabでひたすら検討したのですが..失敗に終わり、朝を迎えました。悔しい。

Stable Diffusionは正式公開は明日です。（おそらくでしたが、確実っぽいです。VRAM10GBくらいで利用可能です。これはどんどん圧縮されて多分一般化されます。）

(開発してる人が毎日カウントダウンしてる。)

20221122訂正
開発者ではなく、Stability AIのCEOです。間違い失礼しました。

3 https://t.co/aH7ksjMGLS
— Emad (@EMostaque) August 19, 2022

2 https://t.co/6XWMGmJ1oj
— Emad (@EMostaque) August 20, 2022

一応、StableDiffusionとは

はっきりまず言います…とにかくやばいです。
分かりやすく、他のDALL・E2、Midjourney、Disco Diffusion、他有象無象Text to image machine learning系サービスと比較しますと…

クオリティがかなり高い。
制限がなくなり、かなり細かい調整ができるようになったDALL・E2のような感じです。
生成が早い。
設定なしで使えば正直体感DALLE2より早いです。6秒..くらい？
安い。
3円くらいだと思います。
DALL・E2は1生成17円。Midjourneyは月4000円。
オープンソース
これからいろんなサービスにこのAIが搭載されます。
他AIではかけられている学習データのフィルターがない。
各国の代表者や、有名人、ポルノがデータに含まれています。
PC上で使用できる。（ = その場合無料）

いや、これは..

です。

もうこの人が言ってるみたいに、もうGoogleとかのサーチエンジンよりも、画像生成しちゃったほうがいいよねって時代になります。
おそらく。

確かにhttps://t.co/HM2ivL4QDv
— やまかず (@Yamkaz) August 20, 2022

では本題。

Stable DiffusionのDiscordに入れたので、過去に製作されていた創造物をざらっと眺めてみました。

そこで、これは基礎表現としてみんな知っておいた方がいいなという基礎的なPromptのみまとめます。以下です。どうぞ。

@画像生成AIを使ったことがない方
Promptとは、AIに画像を生成してもらうために与える言葉です。

1) 人物

生成画像 & Prompt

an attractive young female cyborg, highly detailed oil painting, impasto brush strokes, soft light, 8 k, cyberpunk colour palette, dramatic composition, dramatic lighting, sharp focus, concept art, masterpiece, by adrian ghenie and jenny saville and zhang jingna

by @electra_highway

oil painting portrait dark background of a seductive mutant wonderful symmetrical woman with a beautiful face with a strange disturbing face made of flowers and starnge texured surfaces by otto marseus van schriek rachel ruysch tom bashow, dutch golden age dramatic lighting chiaroscuromodern woman | hyperrealistic | action pose | digital painting | trending on artstation, pinup portrait, clean, illustration

by @patriziaburra

a painting of cinnamonshadow trending on artstation in the style of greg rutkowski, wlop, oil on canvas, masculine, beautiful, portrait, dark skin, male, dreadlocks, dj, cool, youthful, sensual

by @VirtualRose

epic professional digital art of hungry eyes, ambient golden light, painted, mysterious, cinematic seaside wonderful queen scene, person, eerie, mythic, detailed, intricate, grand, leesha hannigan, wayne haag, reyna rochin, ignacio fernandez rios, mark ryden, van herpen, artstation, cgsociety, stunning, gorgeous, wow detail

by @patriziaburra

concept art of translucent glowing curvy buxom brown fairy dancing booty, renaissance, flowy, melting, round moons, rich clouds, very detailed, volumetric light, mist, fine art, textured oil over canvas, epic fantasy art, very colorful, ornate intricate scales, skulls, fractal gems, 8 k, hyper realistic, high contrast

by @ezzyland

a beautiful painting portrait of a very old indigenous grand-father in the amazon jungle, matte painting, fantasy art, ayahuasca, highly detailed

by @Michoko

hyperrealistic portrait of a character in a scenic environment vincent callebaut composition art style by klimt and nixeu and ian sprigger and wlop and krenz cushart

by @gz888

portrait of bird - human hybrid, head and shoulders shot, by annie leibovitz, portrait of a man, studio lighting

by @AIn't no

cinestill 5 0 d portrait of a dreamy beautiful woman looking at a sea tempest shooting by roversi painting by waterhouse, elegant, highly detailed, pale tonal matt, soft blur, artstation, sharp focus, head in focus

by @Ida Marinella Rigo

high quality studio digital fashion art of a kanye west modelling yeezy futuristic hoddle. final product shot, all round angle. digital art, trending on artstation. marvelous designer. octane render. trending on futuristic fashion instagram.

by @Ok_Divine

portrait of billie eilish by greg rutkowski

by @StevenAlejandroVelez

個人的に実験

AIで韓国人のモデルさんを生成しました。#stablediffusion pic.twitter.com/UKiyzgTu1N
— やまかず (@Yamkaz) August 21, 2022

他のパターン。
いい配置と、美形になるpromptを獲得した。#stablediffusion pic.twitter.com/EgcNXnTIke
— やまかず (@Yamkaz) August 21, 2022

韓国人のモデルさん（男）
入力する言葉のfemaleをmanにするだけでこうなります。#stablediffusion pic.twitter.com/qYe9TVlUZe
— やまかず (@Yamkaz) August 21, 2022

他のパターン。
oil paintingの言葉が入っているので、油絵風になっています。 pic.twitter.com/1b0l9TV2tr
— やまかず (@Yamkaz) August 21, 2022

2) アニメキャラ

生成画像 & Prompt

close - up headshot portrait of a gorgeous anime barbarian woman, white long messy hair and blue eyes, highly detailed, muscular, very beautiful face, digital art, pixiv fanbox, trending on artstation, ray tracing, volumetric lighting, sharp focus, hq, by greg rutkowski, artgerm, ross tran, miyazaki hayao

by @BartonDH

beautiful! mage woman portrait, challenging, 3 0 years, japanese anime style, golden tears, dark strands, digital painting part by wlop and mucha, unreal engine, 8 k, artstation, deviantart, f 1. 4, smooth, cinematic light, duotone orange blue tones, dawn volumetric light

by @cviudez

portrait of anime mecha, japanese town background, damaged walls, detailed mech armor, sharp details, strong shadows, crisp edges, illustration concept art anime key visual trending pixiv fanbox by wlop and greg rutkowski and makoto shinkai and studio ghibli and kyoto animation, alphonse mucha and caravaggio, symmetrical body

by @HcForLife

from chinese myth 西游记, tiger general in classic aromr, buddhist, taoish, highly detailed goddess portrait - point of eyes, in gta v, stephen bliss, unreal engine, fantasy art by greg rutkowski, loish, rhads, ferdinand knab, makoto shinkai and lois van baarle, ilya kuvshinov, ross

by @Rockyliu

modern mech warrior princess, ultra detail, professionally retouched, soft lighting, wide angle, 8 k high definition, intricate, elegant, art by brian miller, peter mohrbacher

by @TMG

他ネットユーザーの挑戦

これ見るだけでもやばいってなりますよね、このディテール。

There are so many stories I could write based on the inspiration from these pieces of #AI art I've generated so far ~ a thread!

Created using #NovelAI's Advanced #ImageGeneration based on #stablediffusion pic.twitter.com/wEJX4xCGJc
— Aini (@Ainiwaffles) August 9, 2022

3) クリーチャー、ロボ

生成画像 & Prompt

3 d photo of cyber morphic robotic animal giant snail, battle robot, matte painting trending on artstation hq

by @jags

very up close portrait, of super advanced nano metal military robot armed with future technology hidden in smoke ， transparent shell ， full face frontal centered ， mysterious eyes, with complicated metal mechanical cameras, ultra detailed wire decoration ， micro detail, by nixeu and guweiz weta, sleek curves, intricate sharp focus, trending on artstation hq, deviantart, pinterest

by @enkimaizi

cute anthropomorphic frog by charlie bowater and anna dittmann and artgerm and clemens ascher, portrait, intricate, elegant, product shot, macro, symmetrical face, highly detailed, dramatic lighting, sharp focus, octane render, trending on artstation, artstationhd, artstationhq, unreal engine, 4k, 8k

by @Greenz

baby chicken, photo realistic, cool

by @Noodle

個人的に実験

かわいい動物同士をかけ合わせるの楽しい。

1. 犬ねこ
2. アンゴラねこ
3. パンダねこ#stablediffusion #aiart pic.twitter.com/zVv6vF3ARH
— やまかず (@Yamkaz) August 21, 2022

4) 風景

生成画像 & Prompt

a photo of a city ontop of the clouds, los angeles, foggy, engulfed in clouds, sky city, trending on flickr

by @cerspense

no border 3 panel graphic novel layout frozen rain forests cryogenic tears of hyperspace loneliness futuristic small unit tactics behind enemy lines littoral combat photorealistic graphic novel layout by michael komarck, greg rutkowski, victo ngai, artgerm, willem claesz heda and j. dickenson roger deakins john seale syd mead

by @WetSox

a beautiful mountain landscape, dramatic clouds, soft golden light, long exposure, highly detailed, award winning photography by carr clifton, highly realistic

by @abidhusain

mountain ridge, dramatic, ultra - wide angle, long exposure, ultra - hd, epic lighting, ray tracing global illumination, in a symbolic and meaningful style, heavenly perspective, trending on artstation, concept art, hyper realism, hdr

by @RaymondDukes706

stormy night, created by jan urschel and sylvain sarrailh, the moonlight is hazy, a huge fairy magic school castle in the mysterious fantasy forest, many fireflies, shimmering effect, magnificent color matching, realistic matte painting, cherry, concept art, western magic forest, trending on artstation

by @POP

intricate detailed autumn dusk flower town james gurney, lisa frank, dan luvisi, petros afshar, tim hildebrandt, liam wong, mark riddick, thomas kinkade, ernst haeckel, dan mumford, trending on artstation, josephine wall, wlop, cgsociety by gediminas pranckevicius, trending on cgsociety and deviantart

by @JGIII000

forklift, beach, holiday vibe, sand, sea, drone view

by @Kidnapkin

個人的に実験

写真生成の実験中。接写から風景写真までこのクオリティで生成できる。すごい。#stablediffusion pic.twitter.com/iibN8gRBV2
— やまかず (@Yamkaz) August 20, 2022

写真生成実験②#stablediffusion pic.twitter.com/O5jVsrsij1
— やまかず (@Yamkaz) August 20, 2022

5) 建築

生成画像 & Prompt

a street view of a city made of porcelain on gold and silver, beautiful and elegant, built on top of a large massive expansive tree and tree branches over arching over and under, large trunks everywhere, overlooking to an outside sky by frank lloyd wright, feng zhu, craig mullins

by @eyecon01

concept design of moving star's kingdom for science fiction limited mini series, futuristic architect, modern architect, antoni gaudi, shigeru bang, jodorowsky, mock up design, illustration, detail breakdown, detail, hyper realistic, realistic, cinematic lighting, deep focus, ultra realistic, 8 k, uhd, sketch up, golden ratio, architecture breakdown

by @Avraamu

architect concept of flying house in galaxy, futuristic architect, modern architect, antoni gaudi, shigeru bang, jodorowsky, mock up design, illustration, detail breakdown, detail, hyper realistic, realistic, cinematic lighting, deep focus, ultra realistic, 8 k, uhd, sketch up, golden ratio, architecture breakdown

by @Avraamu

futuristic branching and vaulted cable structure stretching out across the countryside, highly detailed oil painting, impasto brush strokes, soft light, 8 k, cyberpunk colour palette, dramatic composition, dramatic lighting, sharp focus, concept art, masterpiece, by adrian ghenie and jenny saville and zhang jingna

by @electra_highway

ancient magnificent chinese golden palace in paradise, canals, white marble bridge, garden, palaces, red maple trees, pine trees, sunny day, by leon tukker, photography, cinematic lighting, octane render, artstation

by @LB

a photograph of a futuristic street scene, brutalist style, straight edges, finely detailed oil painting, impasto brush strokes, soft light, 8 k, dramatic composition, dramatic lighting, sharp focus, octane render, masterpiece, by adrian ghenie and jenny saville and zhang jingna

by @electra_highway

painting of intimate onsen next to japanese inn with floating koi fish by greg rutkowski craig mullins ross tran cozy hot springs bonsai zen garden warm teahouse japanese motifs concept art clear focus fantasy d & d soft lighting unreal engine lumen arnold render artstation

by @MoonGotArts

6) モノ, プロダクト, 背景素材

生成画像 & Prompt

nike hulk sneakers. marvel promotional product. professional photo

by @Wasted

photo of a concept batman harley motorcycle, product shot spotlight, detailed! intricate full frame

by @gozeera

a range of organic geodesic sake bottles with futuristic labels next to a glass of ice - cold sake, kanji decals, black and orange colour palette, octane render, bokeh, depth of field, product shot

by @industrialpunk

flat pastel neutral color graffiti abstract art

by @Unknown

( a basket of lemons ) behind ( a bucket of grapes ) behind ( a tray of limes )

by @TheFlynn

happy corgi face, adorable, cute, simple design, clean lines, sharp focus, enamel pin

by @corgidreams

studio product shot, side view of a simplified hippo figurine ( carved from teak )!!!!!!! with back made of blue epoxy resin, smooth, detailed, influenced by toddler toy, influenced by pixar, on a white to grey gradient background, wood grain!!!!!!, photorealistic, hyperrealistic, 8 k hd, octane render, unreal engine, featured on cgsociety

by @ManekiNeko

個人的に実験

最新画像生成AI #stablediffusion で生成したスニーカーのグラフィックや、プロダクト。

かなりやばい。
これがPC上で無料で利用できるようになるってかなりやばい。PinterestやGoogleで調べてた時代がもうすぐ変わる。しかも生成画像はCC0で商用OK。あらゆるクリエイティブ業界に激震が走ると思う。 pic.twitter.com/MaTgUC4ZUz
— やまかず (@Yamkaz) August 21, 2022

7) AIアートならでは表現

生成画像 & Prompt

pop art poster ebony gutter punk cybernetic numero fashion model, studio lighting, insanely detailed, intricate, hypermaximalist, photosynth, elegant, ornate, hyper realistic, by james jean, by rossdraws, frank franzzeta, mcbess, sakimichan, brosmind, steve simpson

by @Jian_de

epic 3 d, underwater spinning vr headsets, hud, gripping! circuit board by plant consciousness, made of dreams, flowers and intricate laptops, houdini sidefx, perfect render, long journey, artstation trending, by jeremy mann, tsutomi nihei, sakimichan and ilya kuvshinov

by @whoami

intricate detailed flower god james gurney, lisa frank, dan luvisi, petros afshar, tim hildebrandt, liam wong, mark riddick, thomas kinkade, ernst haeckel, dan mumford, trending on artstation, josephine wall, wlop, cgsociety by gediminas pranckevicius, trending on cgsociety and deviantart

by @JGIII000

realistic detailed image of an isometric iridescent rainbow laser shaded multicolored opal diamonds ultra wrathful ultimate futuristic technological nightmare mechanical abomination monster god of chaos, perspective, by lisa frank, ayami kojima, amano, karol bak, greg hildebrandt, and mark brooks, neo - gothic, gothic, rich deep colors. ray tracing, beksinski painting, part by adrian

by @JGIII000

a hyper - detailed painting with almost quantum complex details of a humanoid cyborg with a leather jacket and spikes, his face and clothes have spilled paint, it conveys rebellious anger and contradiction of a revolted mind, comic surreal cyber dystopic punk tech ufo art, tetrachromacy, saturated, refractive, borax, hairy, beard, plasma

by @RD art

応用) 生成した後の話

著作権はあるの？利用していいの？

Stable Diffusionで生成した画像は、CC0 1.0 Universal Public Domain Dedication（https://creativecommons.org/publicdomain）に値します。

CC0とは、すっごい簡単にいうと権利放棄で、商用利用OKです。
ただ例外が2つあり、「著作者人格権」が存在するということを理解し、
CC0ではない著作物が、CC0のコンテンツに含まれている場合は危ない。ということを理解しましょう。

画質上げたい → アップスケーラー

ESRGan
0-10倍まで引き伸ばせます。顔の補正も可能です。
割と界隈の人みんな使ってる感。
僕はこればっかり使ってます。おすすめです。👍

SuperRes Diffusion
これは使ったことがないですが、DreamStudioの解説ページに書かれてたので一応貼っておきます。

ClipDrop
2倍〜4倍（プロのみ）のサイズアップが可能です。
UIがシンプル。

SwinIR
これが一番利用されてて、すごく綺麗になります。これもおすすめです👍

最後に

これから、まだ公開されてない、MicrosoftのNuwa Infinity、MetaのMake-A-Scene（スケッチインプットができる。）、GoogleのImagen、Partiあたりも公開されるでしょう。そして、これからも他のもどんどんいっぱい…

20221122追記
Imagenは一部かなり小規模に公開されていますが、他のは公開される気配が現在ありません、もしかしたら今後公開の流れが来るかも..ですが、しばらくなさそうです、すみません。

しかも今爆発的ヒットしてるmidjounreyはまだβ版です。DALL・Eも2です。どんな未来が待っているのか..　

人間がクリエイティブ作業といいつつ、めちゃめちゃ時間をかけていた既存の創造物の真似事はもうしばらくしたらほんと無くなるんじゃないかと、とてもワクワクしています。これからはよりクリエイティブなことに集中できると思います。

まだしばらくキュレーションができないAIにはクリエイティブの仕事は終わらせることができません。クリエイターの、細かい調整とディレクションが必要です。そこにはpromptを巧みに使う人たちが大勢現れると思います。

脳から想像したイメージを直接抜き出せたり、画像からかなり正確にpromptを生成するものが出ない限り、promptエンジニアは必要ではないでしょうか。

そこで僕は本気で、スーパープロンプトエンジニアになろうとしています。@yamkaz と言います。

20221122追記
この頃の見立てではそれがいいなぁ..って思っていましたが、
知識不足でした、現在は全く違うことを考えています

やばすぎるAI画像生成サービス「Stable Diffusion」始まる。 【簡単解説 & 応用 & Prompt付生成事例集】

はじめに

Stable Diffusion本格始動…！！

一応、StableDiffusionとは

では本題。

1) 人物

生成画像 & Prompt

個人的に実験

2) アニメキャラ

生成画像 & Prompt

他ネットユーザーの挑戦

3) クリーチャー、ロボ

生成画像 & Prompt

個人的に実験

4) 風景

生成画像 & Prompt

個人的に実験

5) 建築

生成画像 & Prompt

6) モノ, プロダクト, 背景素材

生成画像 & Prompt

個人的に実験

7) AIアートならでは表現

生成画像 & Prompt

応用) 生成した後の話

著作権はあるの？利用していいの？

画質上げたい → アップスケーラー

最後に

ピックアップされています

今日の注目記事

#エンジニア 系記事まとめ

アート×デザイン＝クリエイティブ

マガジン2

デザインとAI活用 記事まとめ

あなたと社会と世界の『未来』を変える話

「第四の波(表現革命)」がもたらす「芸術化社会」の時代

chatGPT memo

「記憶(こころ)」と「心(データ)」――人の息吹、機械の息吹

後で読み返す

あなたへのおすすめ

ピックアップされています

今日の注目記事

#エンジニア 系記事まとめ

アート×デザイン＝クリエイティブ

マガジン2

デザインとAI活用 記事まとめ

あなたと社会と世界の『未来』を変える話

「第四の波(表現革命)」がもたらす「芸術化社会」の時代

chatGPT memo

「記憶(こころ)」と「心(データ)」――人の息吹、機械の息吹

後で読み返す

やばすぎるAI画像生成サービス「Stable Diffusion」始まる。【簡単解説 & 応用 & Prompt付生成事例集】

#エンジニア系記事まとめ

デザインとAI活用記事まとめ

#エンジニア系記事まとめ

デザインとAI活用記事まとめ