AI画像生成のStable Diffusion WebUI ForgeでVRoidをi2iしてみたメモ。ChatGPTの画像生成との比較など

AI 画像生成 forge AIツール
※記事内に広告が含まれています。

バーチャル3Dクリエイター神部まゆみです(*^_^*)

この記事はAI画像生成のStable Diffusion WebUI ForgeをセットアップしてVRoidの画像をi2iし、ChatGPTの画像生成との比較もしてみた記事です。

結論を言えば、単にAI画像作りたいだけならChatGPTに任せた方が手軽ではあるかな…(^_^;)

ChatGPTに気軽に投げてみたら、↓特に設定なしで想像を超えるクオリティでi2iして出してきましたΣ(゚Д゚)

AI 画像生成 forge

まぁメリットデメリットがあるみたいなので用途によるかな(^_^;)

●PRスペース●

〇まゆみマート|BOOTH

BOOTHでVRoidテクスチャやVRChat向けオブジェクトなどを販売しています。いいねしてくれると励みになります(*^-^*)

Stable Diffusion WebUI Forgeとは

ChatGPTパイセンに聞いてみます。

Forgeは、Stable Diffusion系画像生成AIをローカルで扱うための定番環境のひとつです。

昔から有名だった「AUTOMATIC1111 WebUI」の流れを汲みつつ、より軽量・高速に改良されており、最近のSDXL系モデルにも強くなっています。

操作画面は比較的わかりやすく、昔のStable Diffusion環境に近い感覚で使えるため、久しぶりに画像生成AIへ復帰する人にもかなり扱いやすい印象です。

また、ControlNetやLoRAなどにも対応しているため、VRoidやUnityで作ったキャラクター画像をi2iで高品質化したり、構図を維持したままイラスト化するといった用途にも向いています。

らしいです。

以前AUTOMATIC1111ってやつを使ってAI画像作成を試したことがありましたが、AIイラストは権利関係やらで燃えまくっていたので(今も毎日燃えてるが…)、使うのを自粛していましたね。

使ったモデルのおかげでクオリティは高かったけど、嫌われたらイヤだしちょっとな…と思い。

AIイラストはやっていくべきか否か?

これまでにこれ何度も悩んだけど、まぁAI使用を明示して自己責任でやるならまぁアリかな…?と思った。

嫌われたり検索から除外される可能性があるのは仕方ないけど、それを知ったうえでやるならまぁ自己責任だろうとは思います。

あと一度使いだすと「ほかの作品もAIでラクして作ったに違いない🤬」と思われる可能性もありますが…まぁ誠実にAI使用を明示してやっていくしかないんじゃないかな。

今さらAIイラストをいじろうと思ったのは、最近ちょっと私生活が忙しくなってしまったため、AIで時短したり上手く使って活動を継続できないかな?と考え出したのが大きいです(^_^;)

まぁ神部まゆみとしての活動はブログやpixiv投稿くらいしかしてないから辞めても良いんだけど、もう6年くらいやってるから愛着が少なからずあるため…。

あとこの活動のおかげで色々調べて知識がついたり、質問やお礼のメッセージが来て誰かの役に立ってることもあるので、できればAI使ったりして継続していきたいかな。

Stable Diffusion WebUI Forgeをセットアップした手順

ChatGPTパイセンに手順を聞いたのでやってみます。

①Pythonを入れる

安定性的に3.10.11あたりが良いらしいです。

Download Python
The official home of the Python Programming Language
AI 画像生成 forge

その後Python 3.10.11のページに飛ばされるので、ページ下にあるこれをクリック、インストールを進める。

AI 画像生成 forge

pythonのバージョン確認

Windowsの検索バーに cmd と入力してコマンドプロンプトを起動します。

AI 画像生成 forge ChatGPT 

python –version python -V というコマンドを入れるとインストールされてるpythonのバージョンが見れます。

AI 画像生成 forge

②Git for Windowsを入れる

↓のページからダウンロードできます。

Git for Windows
We bring the awesome Git VCS to Windows

とりあえずyesで進んでいけば良いっぽい。

③Stable Diffusion WebUI Forgeを入れる

↓がForgeのGithubページ。

GitHub – lllyasviel/stable-diffusion-webui-forge
Contribute to lllyasviel/stable-diffusion-webui-forge development by creating an account on GitHub.

専用のフォルダを作る。ここでは AI-Forge という名前のフォルダをCドライブ直下に作った。

cd C:/AI-Forge でカレントディレクトリを移動させて、 git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git でOK。

これでフォルダ内にデータができましたね。

④webui-user.batを起動させる

stable-diffusion-webui-forge フォルダ内に webui.bat ってファイルがあるので起動します。

AI 画像生成 forge

なんかダウンロードやらでめっちゃ時間がかかるので待ちます(^_^;)

なんかエラーが出たので直す

こんなエラーが出て途中で止まった。

AI 画像生成 forge

ChatGPTパイセンに聞いたら↓で直るっぽい?

これは setuptools が新しすぎて pkg_resources が無くなっている系 っぽいです。
CLIP が古い作りなので、そこでコケています。setuptools 81以降で pkg_resources が削除され、openai/CLIP の setup.py が失敗する という報告があります。

Forgeフォルダで cmd を開いて、これを順番に試してください。

venv\Scripts\python.exe -m pip install "setuptools<81" --force-reinstall

次に:

venv\Scripts\python.exe -m pip install wheel

そしてもう一度:

webui-user.bat

まだダメなら、CLIPだけ手動で入れます。

venv\Scripts\activate
git clone https://github.com/openai/CLIP.git
cd CLIP
pip install . --no-build-isolation
cd ..
deactivate

その後また:

webui-user.bat

これで通る可能性が高いです。
ポイントは setuptools<81 に戻す ことです。りますが、こういうPython依存関係エラーはこれで直ることが多いです。

言われたとおりにやっていきます。

進んだけどまたエラーが出た

さっきよりは進みましたがまたエラーが出ましたΣ(゚Д゚)

AI 画像生成 forge

ChatGPTパイセン頼みで進めていきますが、↓で直るっぽいでです。

また一歩進んでます。今度の原因はこれです:

ValueError: numpy.dtype size changed

これは NumPy 2.x と scikit-image の相性崩れ です。Forge環境ではよくあるやつです。

Forgeフォルダで cmd を開いて、これを実行してください。

venv\Scripts\python.exe -m pip uninstall -y numpy scikit-image

次に:

venv\Scripts\python.exe -m pip install "numpy<2" "scikit-image"

できれば念のためこれも:

venv\Scripts\python.exe -m pip install "setuptools<81" wheel

その後:

webui-user.bat

で再起動です。

もしまだ同じエラーが出る場合は、強制再インストール版で:

venv\Scripts\python.exe -m pip install --force-reinstall "numpy==1.26.4" "scikit-image"

たぶん今回は NumPyを1.26.4系に戻す ので通るはずです。だいぶ依存関係の地雷原を踏んでますが、エラー内容としては正常に前進してます。

ブラウザでwebUIが開いたので成功したっぽい

ああ、これAUTOMATIC1111の時にいじった画面だからこれで成功したっぽいかな?

AI 画像生成 forge

ChatGPTパイセンに聞いたらこれで成功みたい。

⑤モデルをダウンロードして入れる

次にモデルをダウンロードして入れれば良いっぽい。

私はVRoidでスクショを撮影してi2iでクオリティアップする感じで使いたいけど、ChatGPTパイセンに聞いたらAnimagine XLとかいうやつが良いっぽい。

AI 画像生成 forge

Civitaiはこちらです。

Civitai | Discover and Create AI Art
Explore thousands of free Stable Diffusion & Flux models, create and share AI-generated art, and join the world's larges…

検索してダウンロードするけど6GB以上あるΣ(゚Д゚)

まぁ待つか…。

しかし今となってはこういう絵柄はいかにもAIAIしているから好みが分かれるところだけど…。とりあえずこれを入れてみて調整するか、別のモデルも調べてみます。

まぁpixivなどに投稿する場合はAI製であると申告するので、イヤな人は検索から除外するとは思うけど。

あとは更新ボタンを押したらモデル名が出てきたので選択します。

設定する

私のゲーミングPCはRTX 2060 super 8GBで低めのスペックのため、設定で抑えめにすると良いっぽい。

最初のおすすめ設定

2060super向け。


Sampling

DPM++ 2M Karras

おすすめ。


Steps

20

くらい。


CFG

5〜7

解像度

最初は:

768x768

以下推奨。

こんな感じに設定しました。

AI 画像生成 forge

適当なプロンプトを試してみる

ChatGPTパイセンに聞いたらこんな感じのプロンプトが良いっぽい。これは前いじってた時とあまり変わっていないな…。

最初に試すプロンプト

例えば:

1girl, vroid, anime style, detailed face, soft lighting

Negative:

low quality, blurry, bad hands

とりあえず1girlでやってみたけど、まぁ普通に生成できましたね。

AI 画像生成 forge

あれ、前やった時はVAEとかいうところを指定したような?Huggingfaceだっけ?あそこからダウンロードして使ったような。

まぁとりあえずこれでやってみます。

VRoidのスクショを撮ってi2iしてみる

以前AIイラストを触った時もVRoidのi2i用途で使ったけど、i2iのほうが創意工夫の余地があって良いかな。AIはフィルタ的に使う感じで。

ChatGPTパイセンも、ベースをVRoidでやるならディテールや光、質感などの向上に使うと良いと言っていた。

VRoid用途で次にやること

本命は:

Img2img

です。

VRoidスクショを読み込んで:

  • 質感アップ
  • 塗り改善
  • 髪強化
  • 光強化

をやる。


かなり大事なこと

最初は:

「AIに全部描かせない」

方が成功しやすいです。

VRoidは:

  • 構図
  • キャラ
  • ポーズ

が安定してるので、

AIには:

  • ディテール
  • 質感

だけやらせるのが超強い。

VRoidはまぁ普通に可愛いけど、こんな感じで背景デフォルトでスクショを撮ってみる。

AI 画像生成 forge

とりあえずプロンプトなしでやってみたけど…まぁこんなもん?以前やった時は美少女特化みたいなモデルだったから最初からなんか凄い感じだったが…。

まぁこれはこれで良いのだけど、私はオリジナルのVRoidのほうが好みかな(^_^;)

プロンプト変えたり何度か生成してみる

いくつか試してみたけど現時点ではまぁこんなもん?

AI 画像生成 forge
AI 画像生成 forge

背景が白でコントラスト的に肌色が分かりにくいのか、露出度を下げようとしてくるのがちょっと気になったw

正直なところVRoidも作り方次第でかなり可愛くなるので、わざわざ嫌われやすいAI絵をやるからには可愛さ的に大きく超えていきたいところ…。

もうちょいいじったほうが良さげ?

ChatGPTパイセンに聞いてみたけど、もうちょっと色々いじると「今のAIすげぇ…」となるらしいです。

AI 画像生成 forge

最初の一枚生成できたら、次は:

  • VRoidスクショi2i
  • ADetailer導入
  • ControlNet Depth

あたりやると「今のAIすげえ…」ってなると思います。

微妙ならgrokやChatGPTなどの画像生成も試してみるかな…。

まぁもう少しいじって試してみようと思います。

余談:ChatGPTにやらせたほうが高クオリティだった…

ChatGPTに課金してPlusにしたんだけど、参考までに彼に依頼したらこちらのほうが遥かにクオリティ高かった…Σ(゚Д゚)

私の特徴を捉えながら完璧にクオリティアップしてくれた。もう全部こいつ一人で良いんじゃないかな…。

AI 画像生成 forge

げ、これには私も惚れ惚れするレベル…😍久々に胸がドキッとしたよ🥰

まぁ自分で作って好きでこのモデルを7年くらい使い続けているから、私の好みドンピシャなのは当たり前だけど…。

AI 画像生成 forge

んーもう私この子と結婚するわ…🥰

これXのアイコンにしてしまうか…?いやでもなんかAIの人だと思われそうだし…うーん悩ましい。

とはいえメリットデメリットがあるっぽい?

AI 画像生成 forge
神部まゆみ
神部まゆみ

完璧です!これForgeよりあなたに頼んだ方が良くねと思いましたが…。規約の縛りなどメリットデメリットがあるのでしょうか?

生成AI
生成AI

それ、実際かなり多くの人が一度は思います。
「ローカル環境頑張って作ったけど、ChatGPTに投げた方が早くて綺麗では…?」って。

結論から言うと、

  • 気軽に1枚作る
  • ラフにi2iする
  • 会話しながら調整する

なら、こちら系(クラウドAI)はかなり強いです。

ただ、Forge/ローカル環境にも「代替しづらい強み」がちゃんとあります。


ChatGPT画像生成の強み

まず今回みたいな:

  • 「この子をもっと可愛く」
  • 「柔らかい光で」
  • 「髪を自然に」
  • 「雰囲気良く」

みたいな抽象指示は、かなり得意です。

特に:

  • 構図
  • イラスト的完成度

は強い。

しかも:

  • セットアップ不要
  • VRAM不要
  • モデル管理不要
  • LoRA地獄不要

です。

これは大きい。


一方で、Forgeの強み

ここ重要です。


1. キャラ固定能力

ローカルはここが圧倒的。

例えば:

  • この髪型を絶対維持
  • この服固定
  • このアクセ固定
  • この世界観固定
  • 100枚同じキャラ

みたいなの。

LoRA / IP-Adapter / ControlNet が超強い。


2. “際どい調整”が可能

例えば:

  • Denoise 0.42
  • CFG 5.5
  • Depth強度0.7
  • OpenPose weight 1.1

みたいなオタク調整。

これができる。


3. VRoidとの一体化

ここあなたの用途だと超大きい。

例えば:

  • Unity
  • Blender
  • VRM
  • ControlNet
  • OpenPose
  • モーキャプ

全部つなげられる。


4. 制約が少ない

これはかなり大きい。

クラウド系は:

  • 規約
  • 制限
  • フィルタ
  • 生成拒否
  • 混雑
  • 回数制限

があります。

ローカルは基本、
GPUが許す限り自由。


5. 動画・workflow地獄に強い

今のAI界隈は:

「workflowを育てる」

文化がかなりあります。

ComfyUIとか特に。

例えば:

  • 3D depth
  • face detail
  • anime upscale
  • temporal consistency

などを組み合わせて:

「自分専用パイプライン」

を作れる。

これはローカル強い。


逆にクラウドAIの弱点

キャラが微妙に変わる

今回もかなり寄せましたが、

厳密には:

  • 顔バランス

少し変化しています。

「可愛くなる」代わりに、
“同一個体性”は少し失われやすい。



大量生成に向かない

例えば:

  • 100枚選別
  • seedガチャ
  • LoRA比較
  • dataset作成

はローカルが圧倒的に楽。


あなたの場合、かなり理想的なのは

実は:

ハイブリッド

です。


おすすめ運用

Forge

  • キャラ固定
  • i2i
  • VRoid連携
  • ControlNet
  • 大量試行

ChatGPT系

  • 「仕上げ」
  • 「雰囲気調整」
  • 「最終映え」
  • 「アイデア出し」

動画AI

  • アニメ化
  • カメラワーク
  • MV化

です。

これかなり強い。


特にあなたの強みになりそうなの

Unityモーキャプやってるの、実はかなり大きいです。

今後AI界隈は:

「ゼロから生成する人」

より、

「動き・演出・カメラ・キャラ設計できる人」

の方が強くなっていく流れがあります。

VRoid + Unity + モーキャプ は、
かなり未来ある組み合わせです。

AIはそこに:

  • 質感
  • 演出

を足す感じ。

まぁとりあえずForgeをいじってみるか…

ChatGPTは生成できないものや縛りがありそうだし、まぁとりあえずローカル系のForgeをいじっていこうかな。

自分用のアイコンを一つ作るとかならChatGPTで十分だと思うけども。

結局どれを使ってもAI画像であることには変わりないため、AI画像であることを明記していったほうが良いと思います。

つづく?

とりあえず久々にいじれただけだけど、案外簡単にできて良かった。

しかしAI画像は権利関係で嫌われたり検索除外されたりするから賛否両論だけど、AI使用を明示してタグ付けたりすれば使うのは自己責任でまぁアリかな…。

まぁもう少しいじってみようと思います。

また何かあれば追記します(*^_^*)

タイトルとURLをコピーしました