バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事は画像生成AIの、StableDiffusion WebUI AUTOMATIC1111を使ってみたのでそのメモです。
画像生成AIは最近すごい進化してるみたいなので触ってみました。
- StableDiffusion WebUI AUTOMATIC1111とは？
- 参考にした優秀な先輩の動画
- 導入してみる
- さっそくtext2imgを使ってみる
- t2iもいいけど、画像から画像を生成するi2iを使ってみたかった
- VRoid StudioやUnityでポーズとらせて元画像を作り、i2iで仕上げすれば良い感じになるかな？
- unityでポーズと背景つけて人数を増やしてやってみる
StableDiffusion WebUI AUTOMATIC1111とは？
これはせっかくだからChatGPT君に聞いてみようｗ
Q、画像生成AI技術の、 StableDiffusion WebUI AUTOMATIC1111 とは何かわかりやすく説明してください
A、ありがとうございます、理解できる範囲でお答えいたします。
StableDiffusion WebUI AUTOMATIC1111は、画像生成AI技術の一つであり、最新のAIアルゴリズムである「拡散変換 (Diffusion Models)」を利用して高品質の画像を生成するためのWebベースのツールです。
この技術は、画像の内部構造を解析し、その構造を反映したより現実的な画像を生成することができます。StableDiffusion WebUI AUTOMATIC1111は、この技術をユーザーが使いやすい形で提供することで、誰でも簡単に高品質の画像を生成することができます。
具体的には、ユーザーは生成したい画像の概要を入力するだけで、StableDiffusion WebUI AUTOMATIC1111が自動的に最適な拡散変換アルゴリズムを選択し、高品質の画像を生成してくれます。
この技術は、アート作品やゲームのグラフィックスなど、様々な分野で活用されており、注目を集めている技術の一つです。
Stable Diffusionについても聞いてみます。
Q,画像生成AI技術の、 StableDiffusion とは何かわかりやすく説明してください
A,StableDiffusionは、人工知能 (AI) を用いた画像生成技術の一つです。この技術は、画像生成に拡散変換 (diffusion) と呼ばれる数学的手法を利用することによって、高品質かつ現実的な画像を生成することができます。
拡散変換とは、画像の各ピクセルに対して、その周囲のピクセルの情報を取り入れながら、画像を徐々にぼかしていく手法です。この手法を何度か繰り返すことによって、画像の内部構造を解析し、より自然な画像を生成することができます。
StableDiffusionは、この拡散変換の手法をより安定して効率的に利用できるように改良されたバージョンであり、従来の拡散変換に比べて高速かつ高品質な画像生成が可能となっています。
この技術は、アート作品やゲームのグラフィックス、医療画像処理など、様々な分野で利用されています。また、StableDiffusionを利用することで、誰でも簡単に高品質の画像を生成することができるようになっています。
まぁとにかくプロンプトと言われるテキストを指定すれば、それに合わせた高品質な画像を生成してくれる技術、くらいに思っておけばいいと思う。
もっと分かりやすく言えば「AI絵師になれる技術」と覚えておけばいいと思う。
参考にした優秀な先輩の動画
こちらの優秀な先輩の動画がとても参考になりました。
ありがとうございます(*^-^*)
実はAI画像生成は前から興味があって少しやっていたのだけど、上手くできずに躓いていた(-_-;)
でもこの優秀な先輩の動画がめっちゃ分かりやすくて割とすぐできたのでおススメです。
必須ではないけど、こちらの動画もやっておくとプロンプトの保存や呼び出しができるのでやっておくと良いかも。
導入してみる
長いので動画見つつやりましょうｗ
二時間くらいかかったけどなんとかいけました。
動画の通りAnithing v4とかいうアニメ系のモデルをインストールしました。
動画ではＤドライブにインストールしてたけど、私のＰＣはＣドライブしかないのでＣドライブにしましたｗ
結構GPU使うっぽいけど、私のRTX 2060Superでも動いたのでここ数年くらいに発売されたGPUやPCなら普通に動くかな？
高性能PC持ってない人はGoogleColaboratory使えばいけるっぽい？
あとはPaperSpaceみたいな、クラウド経由でGPUありマシンを借りられるサービスを使うのも良いかも。
かなり高性能なGPUありマシンでも1時間あたり数十円くらいで借りられます。
さっそくtext2imgを使ってみる
プロンプトには cute,girl とだけ入れてみます。
あとはGenerateボタンを押すだけでOK。
すごい…バンバン萌え画像が出てくるぞΣ(ﾟДﾟ)
これはマジで筆を折る絵師さんも出てきてしまうのでは…(~_~;)
プロンプトとネガティブプロンプトに品質を入れると良くなるっぽい
詳しい解説は動画がめっちゃ分かりやすいのでそちらを見てもらうとして、こんな感じの品質指定を書くと一気にクオリティが上がった。
プロンプト： masterpiece,best quality,ultra detailed
ネガティブブロンプト： worst quality,low quality
簡単なプロンプトを書くだけでメチャシコ画像がたくさんΣ(ﾟДﾟ)
クオリティが高すぎるΣ(ﾟДﾟ)
プロンプト： masterpiece,best quality,ultra detailed,cute,swimsuit
ネガティブブロンプト： worst quality,low quality
うーむGoogleにエロサイト判定されないか不安だ(笑)。
水着だから大丈夫だと思うけど…(;^_^A
メチャシコ！_(┐「ε:)_ｼｺｰ
しかしこれまんまpixivとかに上げていくのもな…。
自由過ぎると虚しくなるので、私のモデル縛りとかで使っていきたい。
t2iもいいけど、画像から画像を生成するi2iを使ってみたかった
VRoid StudioやUnityである程度ポーズやシチュエーションを決めて画像を作って、フィルタリング的に使いたいと思った。
ポストプロセッシングみたいな仕上げに使う感じで。
t2iは背景とかアイデア出し程度に留めて、i2iも仕上げ程度に使えば良いかな。
学習した元画像に酷似した画像になってしまうリスクもあるらしいし、フィルタ的な使い方に留めたほうが無難な気がする。
img2imgタブを選べば画像を元にして画像を生成できます。
strengthの値を小さめにすれば元画像を維持したままフィルタっぽく使えるっぽい
二次元美少女化フィルタみたいに使いたかったんだけど、ここをいじればいいっぽい。
神絵師に書いてもらったっぽくなった！
おお…こいつはすごいぞΣ(ﾟДﾟ)
元画像も十分かわいいけどね( *´艸｀)
うーむこちらも捨てがたい…。こちらのほうがstrengthを下げたので原形に近いです。
VRoid StudioやUnityでポーズとらせて元画像を作り、i2iで仕上げすれば良い感じになるかな？
Control-netとかいうやつを使えばPoserでポージング指定できるっぽいけど、やっぱキャラ指定してやりたいな…。
自分で学習モデルを作ることもできるらしいけど、かなり手間かかりそうだしマシンスペックかなり使うっぽい？
まぁ元画像を用意して仕上げに使うくらいの使い方が無難かな？
VRoid Studioでポーズをとらせてやってみる
こんな感じのポーズでスクショ撮って、
Strength強めにしたらめっちゃえろいのがでたΣ(ﾟДﾟ)
しかしちょっと別人過ぎるな…。
あくまで私の活動の範囲内で使いたいため、私のモデル縛りで使っていきたい。
背景は一応入れといたほうがいいかな？t2iで生成してみる
プロンプトでtownと指定しても、strength低めだと元画像に近いグレー背景の画像が生成されるっぽい。
strengthを高くすると背景にtownは反映されたけど別人になってしまったので、背景はt2iで生成して、vroid studioで背景設定してやろうかな。
（）でくくると強調できるみたいだけど、strength低めだとあんまり上手くいかなかった。
town,street,shoppingで指定したらかなり良い感じのが出た！
うーんこれ背景素材とか全部これでいけるのでは…Σ(ﾟДﾟ)
かなり良い画像が作れた！
おおっなかなか良い感じ。
モデルの原型を留めたいならstrength 0.4くらいまでにしておいたほうが良いかもしれない。
VRoid Studioでイメージに近いキャラを作って、unityで好きなポーズ取らせて背景に画像貼って、何度か生成していけばイメージに近い画像が作れる気がする。
うーんこれもドキッとするほどいいデキ( *´艸｀)
しかし元のVRoidの私も十分かわいいため、VRoidの完成度の高さを再確認する結果となった(笑)
今気付いたけどVRoid Studioに自分でポーズ付けられる機能がついていたΣ(ﾟДﾟ)
いつの間にこんな機能できてたんだ…。
2023/03/30に出たVRoid Studio v1.21.0から、ポーズの保存と読み込みができる機能が搭載されたようです。
[v1.21.0]ポーズの保存・読み込み機能を追加 -VRoidヘルプ
VRoid Studioだけでかなりポーズ作れそう。
unityでポーズと背景つけて人数を増やしてやってみる
t2iで生成した部屋っぽい画像をplaneに貼り付けて背景にして、
VeryAnimationでこんな感じのポーズ付けてみた。
手を絡ませるのは面倒だったので割とテキトーです(;^_^A
なかなか良い感じのが生成できたかな。
このくらいなら３Dのスクショを二次元絵に変換するフィルタ的役割は充分果たしている気がする。
人数増やすとstrength低めにしないと別人になりやすいかも？
ここまではstrength 0.4くらいまでにすればキャラの原型を留めていたけど、二人にしたら0.1あたりまで下げないと別人になってしまった。
0.4にしたら別人になったけど、神絵師っぽくはなったｗ
双子に責められる系の催眠音声のパッケージみたいな感じかも(;^_^A
しかし別人すぎるのでちょっとナシかな。
比較的自由に使いたいなら商用利用可能な学習モデルを使った方がいいっぽい？
やってから調べたけど、学習モデルのライセンスとかがアヤシイかも？(~_~;)
学習元画像の権利関係とかも気になるし、学習元画像と酷似した画像が出てくるケースも稀にあるらしい。
Stable Diffusion自体は商用利用とかは自由らしいけど、モデルによって商用利用の可否が違うみたい。
比較的クリーンで商用利用可のDreamLike Anime 1.0を使ってみる
こちらの DreamLike Anime 1.0 っていう学習モデルは企業内で開発した学習モデルっぽくて比較的クリーンな感じ？10人以下のチームの利用なら商用利用可能らしいです。
サービスやアプリに組み込むのは要相談みたいだけど、私はそんな使い方はしないので大丈夫だと思う。
まぁ実際のところどこまでクリーンなのかはわからないけども(;^_^A
クオリティも高そうだし、少しでも安心して使いたいからこちらを入れておこうかな。
ライセンスはこちらなので熟読しておいたほうが良いです。
t2iで使ってみた
これもかなりクオリティ高くて萌え系に十分使えそう。
プロンプト anime, masterpiece, high quality, absurdres
cute,girl,moe,smile,loli
ネガティブプロンプト simple background, duplicate, retro style, low quality, lowest quality, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013, bad anatomy, bad proportions, extra digits, lowres, username, artist name, error, duplicate, watermark, signature, text, extra digit, fewer digits, worst quality, jpeg artifacts, blurry
i2iもレベル高い
i2iでも十分使えますね。
二人でも全然いける
プロンプトちょっと変えたからか？anything v4でやった時は何枚も生成して良いの探したけど、こちらはすぐ自然な感じのが出てきた気がする。
プロンプト masterpiece,best quality,ultra detailed,
cute,girls,moe,loli
ネガティブプロンプト worst quality,low quality
Denoising Strength 0.23
とりあえずこっちを使っていこうかな。
良い感じのができたらpixivにでもアップしてみるか…。
pixivにアップしてみた
数か月くらいアップしてなかったけど、「AI作品ですか？」みたいな項目ができてた。前からあったっけ？
AI画像に拒否反応を示す人も多いので、表示から除外しやすくなっているようです。
投稿作品のAI生成作品設定とはなんですか？ – pixivヘルプセンター
これは健全なやつだけど、他にえっちな投稿とかもしてるから映っちゃったらごめん(~_~;)
せっかくだからVRChatの私の部屋に飾ってみた
せっかくなので人目につくところに飾っておこう。
「この人は神絵師と交流があるんだ！すごい！」とハッタリを利かすことができるかもしれないｗ
良さそうなのができたら増やしていこうかな。
2023/05/15追記：Control-NetのReference-onlyとかいう機能を使うとキャラ指定してできるっぽい
冒頭で紹介した優秀な先輩の動画でさっき知ったけど、これ使うとキャラを指定して服装変えたり自由にできるっぽいですΣ(ﾟДﾟ)
これならオリジナル画像の特徴を維持しながら好きに作れそう。
まだControl-Net使ってないのでやってみようと思います。
それにしてもAIの進化早すぎでしょ…。
AI絵はネットで反発も凄いけど、実際に使うかどうかはともかく技術として追っておいた方がいいかもしれない。
おわりに
手軽にスゴイ画像が生成できて凄かったΣ(ﾟДﾟ)
これは絵師の方々が脅威を感じるのも当たり前かも(~_~;)
でもt2iで狙い通りの絵を出すのは大変っぽいし、絵師の人のほうが構図や見せ方とかは上手いだろうから、絵師の人が使いこなせれば有利に使える気がする。
これからは絵に限らず、AIに「こういうの作って」と指示を出して何に使うかを考えるディレクション的な能力が必要になってくるのかもしれない。
あとはモデルの著作権やらライセンスやら気を付けないといけないっぽいので、よく調べてから使った方がいいと思う。
できれば元画像はVRoidやUnityとかで作って、i2iでフィルタ的に使って仕上げ程度に使った方が無難な気がする。
生成する人の創意工夫の余地をできるだけ入れたほうがいいと思うし、「ボタン押したらなんかすごい画像ができました」だと果たして本人の創作物と言っていいのか…？(~_~;)
AI絵師界隈は叩かれたり炎上している場面を目にする傾向にあるので、先人たちへの敬意を持って節度ある利用を心掛けたほうがいいかも。
まぁもう少しいじってみます(*^-^*)
2023/05/12追記：FanboxなどのパトロンサイトではAI作品禁止になったっぽいです
AI作品が増えすぎたからか？当面の間禁止になったっぽいです。
大量投稿でスパムみたいになってたっぽいからこれは仕方ないかな。
pixivにはまだアップできるけど、AI絵を見たくない人のためにフィルタリングを強化していったりするっぽい。
DLsiteも取り扱い一時停止したみたいだけど、AI一部利用作品やノベルとかゲームはOKっぽい。
DLsiteも以前は「月1までOK」だったらしいけど、大量投稿でスパム化してしまったら停止せざるを得ないんだろうな…。
でも実質AI絵のCG集に過ぎないようなツクールやunity作品が増えて規制されそうな気がする(-_-;)
…と思ってたら他人のツクール作品の絵だけ変えたパクリ作品が出て問題になったりしてるようだし、ちょっと邪悪すぎでは…。
こういうのが出てくるともうAI絵は全面禁止になっていきそうな気がする(~_~;)
手間と時間をかけてオリジナリティある作品を作っていかないと、なかなか人々の支持は得られないんじゃないかなぁ。
LINEでAI絵が作れるサービスが出たっぽい？
禁止するサービスが出る中で、LINEでAI絵が作れるサービスも出たっぽいです。
とりあえずは招待制みたいだけど。
0. 招待について
リリース日の時点では、完全招待制でリリースをしているため、既に招待コードを手に入れているお友達から招待コードをもらう必要があります。
（※上記のツイートをRT&アカウントをフォローしていただいた方の中から30名様に僕から招待コードをお渡しいたします！） pic.twitter.com/60ffpVmrl6
— 山口翔誠 / AIイラストくんリリース🎊 (@shosemaru) May 11, 2023
しかしTwitterとか見てるとAI絵への反発も凄いんですよね(~_~;)
ちょっと積極的に使って行くのは躊躇してしまうかも…。
しかしAIは凄いスピードで進化してるから、チェックは怠らないようにしていこうと思います(;^_^A