AIでアニメキャラの実写版その1

アニメから実写へ？

AI作画はアニメ系がこれまで盛り上がっていました。2月くらいから実写系のモデル、特に日本人(アジア人)をかわいく出せるモデルが出てきたんですよね。

そこで、この実写系モデルでアニメキャラを実写化するというのをやってみました。

私が運営している萌えキャラ(当然アニメ絵)である渚の妖精ぎばさちゃんを今話題のAI作画モデルであるBRA(Beautiful Realistic Asian)で作画するとこんな感じに！

元絵はこれです。

実写にすると！

これはかなり精度が高い上にかわいい！

萌えキャラを運営しているにもかかわらず、2022年11月くらいから私が行うAI作画は完全に実写系にシフトしました。

理由は簡単でアニメ絵よりも実写の方がAI作画のインパクトが大きいからです！

以前、ぎばさちゃんコスプレイヤーでファインチューニングしたモデルを使ったときにこんなのが出てきたんですよ！

皆さんカメラ目線のせいか、後ろ向きでもカメラ目線に！首が折れてるよ！

これって、アニメ絵だとただの作画崩壊で終わるんですが、実写だとかなりのホラーになる！実写の方がインパクトがあると思い、萌えキャラなのに実写にシフトした次第なのです！

実写系モデルが流行る前から実写シフトしていたのもあってか、AIアートグランプリでは準グランプリも取ったんですよ！

まあ、それはさておき。お馴染みのキャラでもこんな感じで作れます！

セーラームーン！

ガンダムのセイラさん！

男性もできます。Zガンダムからクワトロ・バジーナ！

結構良い出来なのではないかと！

アニメ絵の実写版を作る手順

本記事ではアニメキャラの実写版を作る手順について説明していきます。

やり方は至って簡単。

作画モデルにはBRAV4を利用します。アジア人特化モデルで、さらには女性特化ですが、他の人種も出せなくはないんですよ！

このモデルに結構大きな特徴があるんですよ。それは「イラストを出そうとしても実写になりがち」というところです。まあ、イラスト用モデルではないですからね。

逆にこれを利用することでアニメ絵を高画質で実写に変換するのが簡単にできちゃうんですよ！

早速やってみましょう。意外と画像を読み込ませての作画をしていない人も多いので、その辺りも補足しながら書きます。

どんなサービスを使う？

サービスではMemeplex やmage.spaceで使えます。当然Stable Diffusion WebUIからでも可能です。初心者にはWebUIよりもサービスを使う方がおすすめですね。ただ、どちらも課金ユーザーしかBRAを使えないのでその点はご注意を。

画像を読み込ませる

ぎばさちゃん公式イラストを変換してみます。後述しますが実は公式イラストを使わずに精度の高い実写化は可能です。

まず画像を読み込ませます。

mage.spaceではプロンプトを書く欄にある画像ボタンを押してそこからファイルを選択。

Memeplexではちょっと手間が多めです。まずは「詳しい設定」を開きます。

開いたところにある「下絵を描く」から絵の編集画面へ。

そうすると絵の編集画面が出てくるので、そこ「ファイルを選択」を押します。

WebUIでは「img2img」のタブを選択してください。

あとはこちらに画像をドラッグ&ドロップ！

絵の強度を設定する

これが超重要です！

AI作画には「image2image」という絵を元にしてそこから改変するという作画手法があります。さきほどのアップロードもそのためのものです。

で、このときに元の絵をどの程度保つのかという設定ができるんですね。Memeplexだと標準が0.75、mage.spaceでは標準が0.8です。高ければ高いほど「元絵の要素が消えていく」という訳なんですよ！

今回のやり方でアニメ絵を実写にする際は「0.5〜0.65」という標準よりだいぶ元絵よりにします。

だいぶ幅がありますが、元のアニメ絵がどれだけデフォルメされているかで変わる感じです。

元絵がこれで比べてみましょう！

どちらもプロンプトはただの「girl」です。
強度が0.75だと一応ツインテールなのが残っているのかなという程度。

これを強度0.55にすると！

ただの「girl」でこれです。構図から髪の色からオリジナルがだいぶ残っているのが分かりますよね！

実は今回BRAを用いている最大の理由がここなんですよね〜！他の作画モデルでは0.5のような低い強度だと、写真にならずイラストとして出力されてしまうんですよ！そこをBRAはちゃんと写真にしてくれる！

BRA以外の写実系モデルだとこんな感じ。強度は0.5です。

低強度だとBRA以外の写実系モデルではアニメ絵になってしまう！まあ、これはこれでかわいいんですがw
ただ、低ければ良いというものじゃないんですよ。BRAはかなり低くても写真にしてくれはしますが、強度が低いと不思議な現象が！

ぎばさちゃんだとそこまで変なのは出てこなかったのでセーラームーンで見てみます。

強度0.5のセーラームーン。何やら様子が……。

目の下に何やら涙のようなペイントがある！

これはアニメ絵の目の大きさが「顔にペイントがある」と解釈されたものです。

サングラスに解釈されることも。これは強度0.54の例。

これが写実的な絵柄だとかなり低くてもあまり化けません。なので絵柄に応じて、そして出力結果に応じて、強度を調整しましょう。

では、各サービスでの設定方法です。
プロンプトの強度はmage.spaceではイラストをアップロードした後に出てくる画面で「prompt strength」から設定。

Memeplexでは絵の編集が終了した後に設定します。

まず、絵の編集を終了させるには「image2image」か「インペインティング」を選択する必要が。

ただ、Memeplexはちょっと特殊でその前に「マスクを白で塗りつぶす」を押します。これは「画面全体を書き換える」という意味だと思ってください。

その後に「画像を送信(image2image)」を押します。

そうすると絵の編集画面が終わります。この時下にスクロールすると「文章の強度」の入力欄が出てきます！ここに数値を設定しましょう！

WebUIでは画面下部のDenoising Strengthで設定します。

モデルの選択

AI作画には「作画モデル」というものがあります。絵を描く道具を選ぶと思って良いです。アニメ絵が得意、ドット絵が得意等が道具によって違うのです。今回はBRA(Beautiful Realistic Asian)というアジア人の女の子の写真をリアルに作れるモデルを選びます！

mage.spaceでは「View Options」から作画モデルを選べます。ここで「Beautiful Realistic Asians」を選びます。

サンプル画像付き選択だとこんな感じ。

ボタン式選択だとこれを

Memeplexではモデルの選択はここから行います。

課金ユーザーだと一番下に「BRAV4」が出てくるのでこれを選びます。

WebUIはダウンロードしてこない限りモデルも使えないですので起動している時点でモデルの選択がわからないということはないと思うのでここでは割愛。他の方のBRAモデルを動かす記事を参考にしてください。

プロンプトを調整する

先程ただの「girl」でもプロンプトの機能度が低いと実写でもデザインを再現してくれるということを書きました。

とはいえ、再現度を上げるためにはやはりプロンプトは超重要！

まず、ぎばさちゃんの全身像です。

これの実写化に挑戦してみます。強度0.55でただの「girl」だとこうなります。

顔が妙に子供な上に靴もサンダルがスニーカーに！

そこで「child」をネガティブに入れて「14 years old」と明示。靴も編み上げサンダルを意味する「lace up sandals」にします。

より再現度が高くなりました！

この辺りは普通に作画する場合と同様で出力結果を見ながら都度プロンプトを調整する必要があります。服のパーツの英語名もちゃんと調べながらやりましょう！詰襟は「stand-up collar」でスーツの襟は「lapel collar」、お団子頭は「bun」等々。

さらなる応用へ

今までの記述で「本家の著作物を読み込ませての生成」と思われる方もいるかもしれません。私は自分が権利を持っているぎばさちゃん以外ではそのまま公式絵を利用するようなことは検証等の特殊なケース以外ではやっていないのです。

実はプロンプトを調整する技術があれば、本家の著作物を利用せずともアニメ絵の実写版は結構作れます。先ほどの目の変換での説明の通り絵柄によっては綺麗に変換できないですし。

なので、自前の下絵がほとんどだったりします！

どんな感じなのか？試しにミンキーモモの実写版を。Memeplexの下絵機能を使って、iPhoneから指でミンキーモモっぽいのを描いてみました。

これをミンキーモモの各パーツがちゃんとプロンプトに入るようにして生成してみます！

おお、結構良い感じに出来ました！

ここからさらに髪のボリューム等細かいところを調整していけば良いわけです。

実は元絵は「大体どの位置に何の色が来るのか？」を伝えられれば良いんですよ。そのためこんな落書きでも大丈夫なのです！

プロンプトはこちら。
a photo of girl 10 years old bright eyes pink hair bob cut flipped hair flat bungs yellow headband white turtleneck short-sleeved blue vest red skirt (gold necklace:1.2) arms up on street blue sky outdoor lighting 32K hdr uhd open elbow knuckle

ネガティブはこちら。
illustration drawing painting toy statue doll cg (mutation hands and fingers:1.5) extra fingers bad hands bad fingers mutation face poorly drawn face ugly freckles inaccurate limb , lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, blurry

そして、この手法を応用すると、アニメの元絵を変換するだけではうまくいかないことも対応できてこんな絵も作れるように。

ピーチ姫の格好をしているアニャ・テイラー=ジョイ！

次回はこの辺りを掘り下げていきます！
ぎばさちゃんのTwitterアカウントもぜひフォローしてください！！