手描きお絵描きにも活用できる？生成AIキャプチャアプリ「RealTimeScreen」公開

あけましておめでとうございますとりにくです。
早速本題ですが、なんか新しいソフト作ったので紹介です。

RealTimeScreenで何ができるか

PC画面の特定座標を指定してその部分をリアルタイムでAIに変換する、みたいなことができます。
つまり自分の描いたぐちゃぐちゃカラーラフをそれらしくリアルタイムである程度整えてくれます（ある程度っていうのがミソです。
以下の動画のように肌色の色の塊をキャンバスにおいてそれを筋肉ポーズ人形LoRAで素体に変換、みたいなことができます

上記の手順で作った素体がこちら

う、うーーん！描けない人（つまり私）のそれっぽい補助にするなら便利かも？って感じです（筋肉とかが正しいか判断付きませんしきっちりやろうとしたら美術解剖学を学ぶコース）

まぁこの程度のことができるよ！って紹介できたところで使い方を解説してきたいと思います。

導入方法

①以下のリンクからRealTimeScreen.zipをGoogleドライブからDLする。

https://drive.google.com/file/d/1OLwrFK-DbtJ676XwYY8pON2GdmGBf_ND/view?usp=sharing

②zipを解凍。RealTimeScreen.exeをダブルクリックして実行する。
（たまにウイルス誤検知される可能性があるらしいです）

③真黒な文字だけのウインドウとResize and Enter startという半透明の黒ウインドウがでてくるので、半透明のウインドウを移動&リサイズしてキャプチャしたい座標を指定します。

④Configウインドウがでてくるので、わかる人は設定欄を埋めて『Setting』ボタンをクリック。わからない人はとりあえずデフォルト設定のまま、『Setting』ボタンクリックでOKです。

⑤真黒な文字だけのウインドウを見ると、初回のみのモデルDLがはじまるのでおとなしく待ちます。

⑥モデルDLが終わったら生成画像が表示されるウインドウが表示されたら導入成功！です。

⑦ちなみにキャプチャ座標のprompt（所謂『呪文』）分析機能も追加しました。こちらのボタンをクリックすると・・・

初回のみprompt分析モデルのDLがはじまり、それが終わるとタグが分析され、『Prompt欄に分析結果が表示されます。

PromptとはAIに指示を与える文字コマンドで、こちらを自動で入力してくれるという訳です。

⑧以下、各種設定の解説です。
model_id_or_path：生成モデル名。わからん人はデフォルトでヨシ！
t_index：20～40以下。数値が高いほど元の画像に近くなる
update_interval：50～200目安。生成更新頻度。数値が高いほど更新ペースが遅くなる。お絵描きソフト等の挙動が重い時に数値を上げる
lora_path：LoRAのpath（追加学習ファイルの場所）
lora_strength:LoRAの効き具合。絵柄LoRAの場合1.4位でいいかも
prompt：プロンプト（AIへの指示文。英語で入力）
negative_prompt：ネガティブプロンプト（AIに描いてほしくないものを入力。英語で入力）

詳しくない人はt_index（どれだけ元イラストに寄せるか）とprompt（AIへの指示文）だけ調整すればよいです。

⑨AIが生成した画像をコピーしたい時はキーボードの『P』キーを、キャプチャ範囲を指定しなおしたい時は『Ctrl+M』キーを同時押せば設定しなおせます。なおこちらのショートカットキーは初回起動時に自動で作成されるsettings.iniから設定できます。

ではではレッツ生成AI補助お絵描きライフ！！！！！

character_check、nsfw_check追加

（2024/01/13）
「入力イラストに版権キャラクターの要素が含まれていないかのチェック」
「NSFWな絵になりそうなら出力結果を真っ黒にする」
オプションを追加

tensorrt対応

（2024/1/7追記）
tensorrt対応の要望が多かったので対応しました。わかっている人のみ実行してください
現在LoRAには対応していません。←対応しました

※初回起動時のモデルエンジンのビルドにめっちゃ時間がかかります。
ずらずらとよくわからん英語が表示される恐怖に耐えましょう。私はこわかった。
※LoRAのウェイトを変えたり、ベースモデルを変える度にエンジンのビルドがされます

①RealTimeScreen_tensorrt.ps1を右クリック、実行
②実行ポリシーを聞かれたら、『A』を入力
③半透明のダミースクリーンが現れるのでキャプチャしたい範囲に配置（大きさも変えられます）
④『Setting』ボタンを押すと生成が開始されます。
『Prompt Analysis』ボタンを押すとキャプチャ範囲のイラストのprompt分析をします。
『P』キーを押すとクリップボードに画像が貼り付けられ、『Ctrl+M』でキャプチャ範囲の再指定ができます。
※キーボードショートカットはsettings.iniファイルから設定することもできます。

ソース

ソースは以下にて公開しています。MITなのでもう煮るなり焼くなりご自由にどうぞ。

StreamDiffusionのビルド（開発者向け）

余談ですがめちゃくちゃ詰まったのでここにメモ

pip install pyinstaller
pyinstaller 〇〇.py
xcopy /E /I /Y venv\Lib\site-packages\xformers dist\RealTimeScreen\_internal\xformers
xcopy /E /I /Y venv\Lib\site-packages\cuda dist\RealTimeScreen\_internal\cuda
xcopy /E /I /Y venv\Lib\site-packages\tensorrt dist\RealTimeScreen\_internal\tensorrt
xcopy /E /I /Y venv\Lib\site-packages\tensorrt_bindings dist\RealTimeScreen\_internal\tensorrt_bindings
xcopy /E /I /Y venv\Lib\site-packages\tensorrt_libs dist\RealTimeScreen\_internal\tensorrt_libs

onefileオプションをつけないことがポイント
また手動で一部のライブラリをコピーしてあげる必要があります。
これにたどり着くのにめちゃくちゃ苦労しましたよ・・・！！！！