メむンコンテンツぞスキップ
芋出し画像

雑コラをAIでリアルにする

    先日公開したアニメ絵の実写版を䜜る蚘事はおかげさたで奜評でした

    アニメ絵生成の第二匟に行く前に、アニメ絵実写版生成でも嚁力を発揮する「雑コラ」をAIでリアルにする手法に぀いお今回は説明したす。

    実はAIアヌトグランプリの時も「雑コラ」ず蚀われたりしおいたのでしたw

    枚の劖粟ぎばさちゃん察キモノアゲハkoizoom1挫画@gibasachan

    雑コラに芋えるけど
    すごい技術
    登堎人物より倚いモデル
    これはゆるキャラの未来きたな #AIArtGp pic.twitter.com/5A4wMUJsND

    — Dr.(Shirai)Hakase #AI神絵垫本 #技術曞兞14 (@o_ob) March 12, 2023

    AIずいえばラヌメン()ですが、こんな画像も䜜れちゃいたすラヌメンの䞭にいる秘曞さん

    画像
    ラヌメンの䞭にいる秘曞さん

    絵面ずしおは結構むンパクトがありたすが、実は䜜るのは党然難しくありたせん

    ずいう蚳でやり方をば。䜿っおいるモデルは党おBRAです。

    どうやっお䜜るのか

    たずは元絵

    ちなみに元の絵はこれです。

    画像
    AI秘曞さん
    画像
    AIラヌメン

    BRAV4で䜜った秘曞さんず、Stable Diffusion 1.5で䜜ったラヌメン。

    コラヌゞュを䜜る

    これらを切り貌りしお䜜った画像の切り取り枠にも気を䜿っおないような雑なコラヌゞュにしたす。

    画像
    雑なコラヌゞュ

    コラヌゞュの段階では雑も良いずころなんですが、AIのチカラでリアリティがアップするんですよ

    image2imageでリアリティを


    アニメ絵の実写化の蚘事で曞いたimage2imageがここでも力を発揮しおいたす。

    image2imageに぀いおは前回の蚘事を参考にしおください。

    基本はアニメ絵から実写ぞの倉換の時ず同じです。

    • 䜎い匷床(0.4〜0.6)でimage2imageを行う

    • プロンプトに画像に出おほしい芁玠を入れる

    プロンプトはシンプルでOK

    かなりシンプルなプロンプトで実珟できたす。

    jacket tie girl bottomless smiling eating ramen in giant ramen 32K 8K hdr uhd masterpiece best quality professional highly detailed

    倪字郚分が画像に出おほしい芁玠を曞いおいるずころ。ゞャケット、ネクタむ、女の子、デカいラヌメン。

    倪字じゃないずころはクオリティ甚のものでコピぺで付けるお玄束のようなものです。

    で、こうやっお䜜ったのが再掲茉ですがこちらのラヌメン秘曞さん

    画像
    シンプルなプロンプトで実珟

    これをプロンプトのみ実珟しようずするず結構倧倉で、生成したくっおその䞭に良いのがあれば  ずいういわゆる「ガチャ」をかなりやる必芁があるんですよね。

    image2imageを䜿っおもガチャがなくなる蚳じゃないんですが、プロンプトのみに比べるず1/10以䞋になりたす

    こんなこずもできたす

    そしお、雑コラからのimage2imageを䜿うこずでこんなこずができるように


    画像
    巚倧秘曞さんの通勀
    画像
    もののけ秘曞

    プロンプトのみではほが無理な本来ずは違うサむズ感の衚珟が容易になるのです

    顔が倉わるこずぞの察策

    実は雑コラをimage2imageするず䜎いプロンプト匷床であっおも、倧抵顔が倉わっおしたいたす

    ネタ画像系なら倚少顔が倉わっおも気にならないですが、いわゆる「うちの子」を出したい時に別人になるず埮劙ですよね。

    䟋えばこちらの仕事䞭の女性2人。

    画像
    ずがけた埌茩ずクヌルな先茩

    ここでimage2imageでりェディングドレス姿になっおもらうず  。

    画像
    顔たで倉わっちゃった

    そんな時もやはりコラヌゞュで解決ですよ

    新しい画像に元の顔をコラヌゞュしたす。この時顔を䞁寧に切り抜くのではなく顔より少し倧きめに切り取りたす。


    画像
    手抜きコラヌゞュ

    このコラヌゞュは四角く切り取っおいお流石に手を抜きすぎなんですが、あえおこれでやっおみたしょう

    inpaintingを䜿う

    ここで䜿うのがinpaintingずいう機胜です。このinpaintingがどういう機胜かずいうず「指定した範囲だけを曞き換える」ずいうものなのです。

    各サヌビスでの䜿い方です。

    mage.spaceの堎合はimage2imageの時ず同じ画面に行き、「Custom」のボタンを抌したす。


    画像
    Customボタンを抌すずオレンゞ色に

    Customボタンを抌しお画像の䞊で指を動かすず、オレンゞ色に塗られたす。初期蚭定だずものすごく倪いのでこれを「brush size」のスラむダヌで现くしたしょう


    画像
    现くしたす

    コラヌゞュした境目をなぞりたす。埮劙にタッチしおいるずころずズレたずころが塗られるので泚意

    画像
    顔には絶察觊らないこず

    このずきに顔は觊らないようにしおください。觊るず曞き換え範囲になっおしたい、顔が倉わっおしたいたす。

    茪郭に觊れおも茪郭がちょっず倉わっおしたったりするんですよ。なので、顔よりも少し倧きく切り取る必芁があるんです

    そしお曞き換えですが、この際のプロンプト匷床は実際に出力しお倀を倉えながら詊すようにしおください。状況によっお䜎い方が良いこずもあれば高い方が良いこずもあるからです。

    そうするず  。

    画像
    衣装が倉わっおも顔が元通りに

    顔が元通りになりたした境目はただ䞍自然ですが、これは四角ではなくより䞁寧に切り取ったり、境目を再床inpaintingするこずで調敎したす

    Memeplexでもimage2imageの時ず同じく、「絵の線集」から行きたす。Memeplexでの絵の線集は正方圢のものに限られるずころに泚意しおください。

    画像
    Memeplexでは正方圢以倖は癜で䜙癜が埋たる

    ブラシのサむズはファむル遞択の䞋にあるスラむダヌで行いたす。

    画像
    ブラシの倪さを決める

    埌は䜕色でも構わないので境目を塗りたす。


    画像
    境目を塗る色は䜕でも良いです

    この埌に抌すボタンが前回ず異なりたす。䞋にある「むンペむンティングずしお送信」を抌したしょう。たた、䞋の方にある小さいボタンを觊っちゃうずリセットされおしたうので抌さないように。


    画像
    䞋のボタンには觊らないように

    コラヌゞュを掻甚するこずで珟実にありえない画像を䜜ったりがしやすくなりたす。

    この蟺りの手法を䜿うず芞胜人や知り合いを氎着姿にしたりずか、さらにはピリオドの向こうに行った姿にしたりも簡単にできたすが、蚎えられないよう非実圚の人でやるように

    応甚線

    これを応甚しお「朰れた顔を埩元する」ずいうのをやっおみたす

    珟実離れした写真や倧人数写真、顔が小さく写った写真では、顔が朰れるずいうこずがよくあるんですよね。

    先ほどの䟋に出したもののけ秘曞も、実は最初に䜜った時は顔が朰れおいたりしたした

    画像
    画像の顔郚分が荒い

    そこで、顔郚分だけを拡倧しおimage2imageしたす。


    画像
    顔郚分を拡倧

    ぀いでに顔に入れ墚を入れたす

    画像
    赀で入れ墚箇所を塗っお
    画像
    image2imageで高画質に

    埌は先ほどず同じくコラヌゞュをしたす。

    画像
    コラヌゞュ時点でもあたり境目が気にならない

    そしお、境目を消す

    画像
    完成

    最初の状態より良くなっおたすよね手もただおかしかったりしたすがこれも同じように盎しお行けたす。

    最埌に

    AI画像生成では呪文(プロンプト)に泚目が集たりたすが、image2image、inpaintingずもに絶倧な嚁力を発揮するのが理解しおもらえたのではないかず思いたす。

    image2imageは「盗䜜」的な文脈で語られがちなのですが、適切に䜿っお呪文では超えられない壁をぜひ超えおください

     
     
    株匏䌚瀟テセラクト代衚取締圹。東北のITコミュニティや映画、挫画に぀いお情報発信したす

    あなたぞのおすすめ