日刊画像生成AI (2022年9月8日)
画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。
そんな中、毎日時間なくて全然情報追えない..！って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。
昨日までの投稿はこちら
（1週間連続投稿達成しました。うれしい）
開発
DreamStudio img2imgが可能に。
Stable Diffusionが簡単に使える公式サービス、「DreamStudio」がアップデートされて、img2imgが追加されたようです。これは嬉しい。タイムラインにimg2img事例がさらに増えそうですね。
Been having a lot of fun playing with the new @DreamStudioAI img2img functionality today. Here's a couple speed-runs in compilation form :)#stabledifussion pic.twitter.com/mTcBpOkQBn
— KaliYuga (@KaliYuga_ai) September 8, 2022
@StabilityAI's dreamstudio allows image upload now 🥲❤️🔥 Fashion prototyping is about to get wild pic.twitter.com/vV7vpFxBjp
— Claire Silver 🌸 (@ClaireSilver12) September 8, 2022
The Stable Diffusion Photoshop Plugin
1週間前ほどに登場したPhotoshop plugin「Alpaca AI」はwait list登録だけでしたが、それとは違い、DreamStudioAPIを利用しているからか、今すぐ利用できます。自分の方でも使ってみましたがかなり便利です。生成したものをそのままレイヤーに貼り付けることが可能です。しかもアーカイブに全て記録されていきます。
（DreamStudioAPIを利用してるので課金が必要なのが難点。img2imgまで機能が追加されて、GPUで動くようになればかなり有効ですね。）
Want to use @StableDiffusion right from #Photoshop? Now you can!https://t.co/gqFWpABQLY pic.twitter.com/LbgSWZz31L
— Christian Cantrell (@cantrell) September 8, 2022
Diffusers 0.3.0 公開。（Apple Sillicon対応！）
Apple Silicon Mac (M1 or M2)対応、ONNX対応、img2imgパイプライン対応したようです。僕はまだ入れずにいます..土日に今週の日刊分の検証を一通りやろうと思います。
Diffusers 0.3.0 is out🧨
— Hugging Face (@huggingface) September 8, 2022
📚 Docs: https://t.co/tnKC2jz4qV
🚄 Stable Diffusion for ONNX
🍏 Stable Diffusion for Mac
🧹 Cleaner API
🎨 Stable Diffusion Image-to-Image pipeline
Release notes:
👉 https://t.co/OCcBLhfNCX
Huge thanks to all the amazing contributors😍 pic.twitter.com/WytnefMXwf
超わかりやすいStable Diffusion。「Grockking Stable Diffusion」 Part2（textual inversion）公開
Stable Diffusionのコードを項目ごとに分け、システムをわかりやすくそれぞれ解説してくれている素晴らしすぎるGoogle Colab「Grockking Stable Diffusion」のPart2「textual inversion版」が公開されました。知らない方向けに解説すると、textual inversionとは数枚の画像を追加学習し、新しい単語「S」などとして登録できたりするやつです。これは嬉しいなぁ。
こちらから利用できます。
New notebook: 'Grokking SD Part 2: Textual Inversion'
— Jonathan Whitaker (@johnowhitaker) September 8, 2022
For all of you curious exactly how we can mess with token embeddings to teach a model new 'words' for specific concepts.
Notebook link: https://t.co/lQWdR3Watg
Part 1: https://t.co/O7GALcgTxX
Have fun :) pic.twitter.com/wAzq2lF2g6
Lexica.artの検索エンジンがCLIPに対応。
Stable Diffusionの生成結果事例を検索できるLexica.art。このサービスはどうやら検索エンジンとしてOpenAIのCLIPを利用しているようです。画像の内容を検索して、はるかに高品質の結果を得ることができます。
いつの間にか「Explore this style」ボタンが追加されとる..
表現
img2img × ebsynth × koe recast by Scott Lighthiser
Scott Lighthiserさんが制作した動画がやばいです。要は３工程を挟んでおり、1つはStable Diffusionのimg2imgで1フレームをある画風、写真風に変換する。その1フレームと、動画を使って、ebsynthでその画風を全フレームに適用する。最後に、koe recastで声のトーンを書き換え。こんなリアルな未知の映像が作れてしまうのやばいですね。
声優業や、演出家の世界、ファッション業界がこれで大きく変わりそう。実際ガッツリ影響与えてくるのは2年後くらいかと思いますが..
@StableDiffusion Img2Img x #ebsynth x @koe_recast TEST#stablediffusion #AIart pic.twitter.com/aZgZZBRjWM
— Scott Lighthiser (@LighthiserScott) September 7, 2022
アイデア賞! 手遊び→img2img
これはやられたーという感じ。指でピースして、足のpromptを入れると歩いているようにできたり、鳥っぽい形に指を変えて、鳥のpromptを入れるとこうなる..これはいいアイデアですね。
実際の動画はこちら。
kooさん、服の一点追求。
以前の刊で紹介いたしましたが、大量に服のアイデアをmidjourneyで生成し続けているkooさん。ひたすら投稿を続け、かなり伸び続けていらっしゃいますね。素晴らしい作品ばかりです。
モルフォ蝶をイメージしたドレス
— koo (@koo02502124) September 6, 2022
より美しく#midjourney #midjourneyAi#蝶々 #butterfly #モルフォ蝶 #Morpho
Copyright 2022 Midjourney and koo. All rights reserved pic.twitter.com/luEJhFQWDw
青空と雲をイメージしたドレス
— koo (@koo02502124) September 8, 2022
新しいかもしれませんね#midjourney #midjourneyAi
Copyright 2022 Midjourney and koo. All rights reserved pic.twitter.com/x6xbwws3OK
猫をドラゴンに。
将来ゴーグルで自分のペットを見たら、猫でも違う生物に置き換えて見えるようにすることが可能なのかもしれません。そうしたら..仮想の生物をリアルで飼うことができちゃいますね。
I’m losing my mind. I accidentally turned my cat into a dragon. #stablediffusion #ai pic.twitter.com/Y8m2kzAIwG
— elsa bleda (@elsableda) September 7, 2022
研究
Waifu Diffusion検証続々
昨日リリースされたDanbooruの画像で微調整されたStable Diffusion、「Waifu Diffusion（非公式）」で検証している方々が続々登場。かなりクオリティが高い印象..。これはかなりすごいのでは。
AIに美少女描かせようとして「AIは日本の”萌え”をわかってない！」と挫折した人は多そうですが、waifu diffusionが物凄く作りやすくしてくれたので、今日から日本のAI使いが増えそうです。
— 白月めぐり (@alice_diffusion) September 8, 2022
シード厳選無しの"cute cat ears maid loli"だけでこれは世界変わりすぎ。 #stablediffusion #waifudiffusion pic.twitter.com/yWHdk4Xe1O
waifu diffusion使ってみたけど数枚回してこの出力はつよつよすぎる…
— 画狂老人AI (@KitKat_english) September 8, 2022
あと猫耳をしっかりつけてくれるの最高なんよ#stablediffusion #waifudiffusion#AIart pic.twitter.com/VAnAb1eHDz
WaifuDiffusionでHusbando作ってみた
— にきもなか (@nkmonaka) September 8, 2022
めっちゃカッコイイ#StableDiffusion #WaifuDiffusion pic.twitter.com/xBEQgoJiMA
Waifu Diffusion(のckptをOptimizedSDに入れただけ）を試してみた。プロンプトは日曜日にStable Diffusionで使ったものと一言一句全く同じもの。で、とりあえず20枚出力した結果がこれ。あー、これは、確かに…#stablediffusion #waifudiffusion pic.twitter.com/kCdv6kLAL3
— エボシ＠デネブラボ (@FakeKamaboco) September 8, 2022
指がうつってるの絵だけはちょっと残念になるけど、それ以外厳しめな目で見ようとしても粗が見つからない… pic.twitter.com/lOtpOmlnXI
— エボシ＠デネブラボ (@FakeKamaboco) September 8, 2022
画像生成AIでアニメイラストに特化したWaifu-diffusionが出たらしいので試してみた
— 銀河P (@galaxy14141356) September 8, 2022
キャラの特徴入れるだけでこのクオリティのイラストが出てくる
長々としたおまじないも要らず成功率も高い
これは革命ですね……#AIart #stablediffusion #waifudiffusion pic.twitter.com/5UsbP6Gjxt
生成画像を合成 → img2img で違和感のない絵に
画像同士を合成し、それをimg2imgでまたアイデア出しできるという事例。こういう事例はかなり出ていますが、分かりやすい図になっていたのでメモ的に記載。
AI（Stable Diffusion）にこのイラストを描いてもらった手順はこんな感じ。
— 思惟かね(オモイカネ)📕🔔 (@omoi0kane) September 8, 2022
①VRoid Studioで自分の写真を撮る
②SDで背景画像を生成
③背景合成して一枚絵に
④SDのimg2imgで③の画像＋キーワードを調整して試行錯誤
一枚絵としての統一感が出るし、色んなバリエーションが生まれて面白い…！ https://t.co/pAig1iUbRW pic.twitter.com/QPmM3OqF6W
Houdiniでざっくり → Stable DIffusion（img2img）で生成。
個人的に、「企画→モデリング→レンダリング→加工→修正」という大きなプロセスは、「企画→本当にざっくりモデリング→大量生成→セレクト」というプロセスにゴリっと変わるのではないかと思います。建築業界に大きく影響を与えそうですね。
Procedural modeling in #houdini to #stablediffusion organic habitats. #sidefx pic.twitter.com/IfcuVs0F0y
— itu (@ItuPhi) September 7, 2022
スピード感のあるWarp Diffusion
動きが早いものは見たことがなかったのでメモ。
GM ☀️ “Lucid Visions”
— 85pixels (@85pixels) September 7, 2022
(s/o @socalpathy for sharing his crazy camera motion schedule 🤘🏾)#stablediffusion #deforum #aiart pic.twitter.com/gYNvq5MBpe
各国の顔生成テスト
Stable Diffusion Inpainting Test （コスチューム版）
思想・ムーブメント
オープンソースにしてほしいのはどれですか？（Emad）
Stability.aiのCEOのEmadさんがアンケートを取られていました。これは..今月出ると噂のやつでしょうか。
Which AI is most interesting to release open source?
— Emad (@EMostaque) September 8, 2022
2022/09/25に..
これは..Stable Diffusionが公開される前、EmadさんはカウントダウンをTwitterでされていました。これは何か出る予感。過去に来月は音版を出すと話されていたので、音のAIが出ると思っています。
25/09/2022
— Emad (@EMostaque) September 8, 2022
勉強
こちら新しいサーベイカテゴリー「勉強」を追加しました。
NVIDIA×滋賀大学、1000ページ超の機械学習教育用資料の日本語版公開
大学の教員向けと記載されていましたが、僕にもできるか..。とりあえず申請しています。
最後に
昨日も研究、表現、開発が沢山進んでいますね。もっと技術的な話に深掘りたいが..それは土日にやろうかと思います。
Twitterに、毎日製作したものや、最新情報、検証を載せています。
よかったらフォローしていただけますと幸いです。
次号はこちら
