バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事では、OpenAIのShap-Eを使ってみました。
Shap-Eっていうのはこれね。
Shap-Eとは？
せっかくだから最近リリースされたGoogleのBard氏に聞いてみますｗ
OpenAIのShap-Eは、テキストまたは画像から3Dモデルを生成できるモデルです。これは、テキストから2D画像を作成できるDall-Eに似ていますが、Shap-Eは3Dアセットを生成します。Shap-Eは、条件付き拡散モデルと3Dアセットマッピングでトレーニングされています。3Dアセットのマッピングとは、Shap-Eが既存の3Dオブジェクトの大規模なデータセットから、テキストまたは画像を対応する3Dモデルに関連付けることを学習することを意味します。
Shap-Eは、自然言語または画像から3Dコンテンツを作成するAIの強力なデモンストレーションです。これにより、コンピューターゲーム、インタラクティブなVRエクスペリエンス、プロトタイプなどの目的で3Dオブジェクトを作成できます。出力品質については保証はありませんが、AIモデルは、何でも3Dモデルを作成するための高速で効率的な方法を提供します。さらに、このAIモデルは、ディープラーニング分野における重要な貢献であり、将来の高度な革新と創造につながる可能性があります。
Shap-Eはオープンソースであり、誰でも使用できます。GitHubでコードとモデルを入手できます。
GithubのShap-Eページはこちらです。
MITライセンスで自由に使えるっぽいです
MIT License
Copyright (c) 2023 hysts
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the “Software”), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
要約すると、MIT Licenseとは次のようなライセンスである。
・このソフトウェアを誰でも無償で無制限に扱って良い。ただし、著作権表示および本許諾表示をソフトウェアのすべての複製または重要な部分に記載しなければならない。
・作者または著作権者は、ソフトウェアに関してなんら責任を負わない。
Text to 3Dでさっそく使ってみる
ローカルに構築しないといけないかと思ったけど、普通にhuggingfaceのshap-Eのページで使えるようになってました。
適当に作りたいものをプロンプト入力してみます。
おお！ちょっとガタガタした感じだけどイスができた！
glb形式でダウンロードできるっぽい
ここのダウンロードボタンを押すとダウンロードできます。
blenderで開いてみる
blender 3.3だけど、 ファイル⇒インポート⇒gltf2.0 でいけました。
おお！ちゃんとイスしてるじゃん…Σ(ﾟДﾟ)
でもマテリアルとか頂点カラーとかは何も設定されてなかった(;^_^A
あとメッシュ数1だったので、適当に分割してマテリアル割り当てたほうがいいかも。
サイズは調整したほうがいいかも
自動生成だから当たり前っちゃ当たり前だけど、サイズが大きかったので調整したほうがいいかも。
Sキーで簡単に調整できるので問題はなさそう。
ポリゴン数は結構あった
49000ポリゴン以上あるΣ(ﾟДﾟ)
でも963KBだから軽いか。
デシメートしたら三桁まで減ったので、多少カクカクでもいいならデシメートすればいいか。
他に作ってみたもの
dog
おお犬！？…？犬？
ネコだか狐っぽい謎のクリーチャーになってしまった…。
犬種を指定したほうがいいか。
ゴールデンレトリバーで…。
んー犬っぽくはなったけど、「金色の犬」と解釈された気がするｗ
カンマで区切れば良かったかな。
でもこれ動物をモデリングするってすごいめんどくさそうだから、テクスチャ塗れれば犬としては普通に使えそう。
anime girl
イスは30秒くらいですぐできたけど、これは構造が複雑だからか？めっちゃ時間かかってます(~_~;)
number of inference stepsを下げたらすぐ終わった。
んーでもなんかまどマギの魔女とかゆめにっきっぽいホラーな感じになったｗ
これなら大人しくVRoidStudioとか使った方がいいかもしれない。
President Biden (バイデン大統領)
特定の人物だとどうだろう。
んーゾンビっぽいが……こころなしか似てなくもないか？(笑)
人間みたいなディテールの細かいものはきつそう。
image to 3Dでもやってみる
VRChatの私の部屋にソファを置きたかったから作ってみるか…。
背景が真っ白で良さそうな感じだったのでこちらのページの画像を借りてみます。
特に許可は取っていませんが、権利者の方からクレームがあれば削除します(;^_^A
おっ！なかなか良い感じ？
でも足が細いから無視されてしまったか(;^_^A
まぁ円柱をちょこっと追加すればいいか…。
Advanced optionsでシード値とかいじれる
これはText to 3Dでもあったけど、いくつか設定項目がいじれた。
number of inference stepsは推論ステップ数？でクオリティが上がる感じ？マックスにしたら足が追加されてた。
しかしこの形だとマテリアル分けるのめんどくさそうだな…。
このくらいなら自力ですぐ作れそうだから後で作ってみることにします(笑)。
３Dモデル生成アプリは他にも色々開発されてるっぽい
これなんか凄そうだな…後でいじってみよう。
こちらはChatGPTでモデルデータが作れる感じ？家具とか作ってる会社さん？のサービスみたい。
まだ公開されてないみたいだけど、オーダー前提っぽい？モデルだけ使うとかはできないかも？不明。
おわりに
AIの進化が凄くてビックリしましたΣ(ﾟДﾟ)
調整は必要だと思うけど、結構なクオリティで作ってくれるっぽい。
どんどん便利な時代になっていきますね(;^_^A
しかし今年に入ってからAI関連のニュースが多すぎて追いきれませんね…。
次々新しい技術がでてきますが、なんとかついていきたいと思います(;^_^A