バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事では、OpenAIのShap-Eを使ってみました。
Shap-Eっていうのはこれね。
Shap-Eとは？
せっかくだからGoogleのGeminiパイセンに聞いてみますｗ
OpenAIのShap-Eは、テキストまたは画像から3Dモデルを生成できるモデルです。これは、テキストから2D画像を作成できるDall-Eに似ていますが、Shap-Eは3Dアセットを生成します。Shap-Eは、条件付き拡散モデルと3Dアセットマッピングでトレーニングされています。3Dアセットのマッピングとは、Shap-Eが既存の3Dオブジェクトの大規模なデータセットから、テキストまたは画像を対応する3Dモデルに関連付けることを学習することを意味します。
Shap-Eは、自然言語または画像から3Dコンテンツを作成するAIの強力なデモンストレーションです。これにより、コンピューターゲーム、インタラクティブなVRエクスペリエンス、プロトタイプなどの目的で3Dオブジェクトを作成できます。出力品質については保証はありませんが、AIモデルは、何でも3Dモデルを作成するための高速で効率的な方法を提供します。さらに、このAIモデルは、ディープラーニング分野における重要な貢献であり、将来の高度な革新と創造につながる可能性があります。
Shap-Eはオープンソースであり、誰でも使用できます。GitHubでコードとモデルを入手できます。
GithubのShap-Eページはこちらです。
MITライセンスで自由に使えるっぽいです
MIT License
Copyright (c) 2023 hysts
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the “Software”), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
要約すると、MIT Licenseとは次のようなライセンスである。
・このソフトウェアを誰でも無償で無制限に扱って良い。ただし、著作権表示および本許諾表示をソフトウェアのすべての複製または重要な部分に記載しなければならない。
・作者または著作権者は、ソフトウェアに関してなんら責任を負わない。
APIも公開されてるっぽい
今回は触れないけど外部からアクセスして使えるなら結構可能性が広がりそうだな…。
Text to 3Dでさっそく使ってみる
ローカルに構築しないといけないかと思ったけど、普通にhuggingfaceのshap-Eのページで使えるようになってました。
適当に作りたいものをプロンプト入力してみます。
おお！ちょっとガタガタした感じだけどイスができた！
glb形式でダウンロードできるっぽい
↓ここのダウンロードボタンを押すとダウンロードできます。
blenderで開いてみる
↓はblender 4.2だけど、 ファイル⇒インポート⇒gltf2.0 でいけました。
おお！ちゃんとイスしてるじゃん…Σ(ﾟДﾟ)
でもマテリアルとか頂点カラーとかは何も設定されてなかった(;^_^A
あとメッシュ数1だったので、適当に分割してマテリアル割り当てたほうがいいかも。
サイズは調整したほうがいいかも
自動生成だから当たり前っちゃ当たり前だけど、サイズが大きかったので調整したほうがいいかも。
Sキーで簡単に調整できるので問題はなさそう。
ポリゴン数は結構あった
49000ポリゴン以上あるΣ(ﾟДﾟ)
でも963KBだからまぁ軽いか。
デシメートしたら三桁まで減ったので、多少カクカクでもいいならデシメートすればいいか。
他に作ってみたもの
色々作ってみたので載せておきます。
dog
おお犬！？…？犬？
ネコだか狐っぽい謎のクリーチャーになってしまった…。
犬種を指定したほうがいいか。
ゴールデンレトリバーで…。
んー犬っぽくはなったけど、「金色の犬」と解釈された気がするｗ
カンマで区切れば良かったかな。
でもこれ動物をモデリングするってすごいめんどくさそうだから、テクスチャ塗れれば犬としては普通に使えそう。
anime girl
イスは30秒くらいですぐできたけど、これは構造が複雑だからか？めっちゃ時間かかってます(~_~;)
number of inference stepsを下げたらすぐ終わった。
んーでもなんかまどマギの魔女とかゆめにっきっぽいホラーな感じになったｗ
これなら大人しくVRoidStudioとか使った方がいいかもしれない。
President Biden (バイデン大統領)
特定の人物だとどうだろう。
んーゾンビっぽいが……こころなしか似てなくもないか？(笑)
人間みたいなディテールの細かいものはきつそう。
apple
こういう単純な形のやつは精度高そう。
動物とか植物系はかなり行けそうな気がする。
banana
これもなかなか良い感じ。
しかしthree bananasだとよくわからないものが生成された…Σ(ﾟДﾟ)
使うなら一本作り込んでからコピペしたほうが良いか。
Palm tree ヤシの木
おお、やっぱり植物系はかなり行ける気がする。
以前blenderの勉強がてら作ってみたことがあったけど、マテリアル設定できれば普通に使えそう。
まぁリアル系じゃないからデシメートしてローポリで使ったほうが良いかな。
Laptop(ノートPC)
おお！かなりそれっぽい。
しかしblenderに持って行って見たら結構凸凹してるΣ(ﾟДﾟ)
3Dプリンターのように積層させて生成しているのだろうか？(笑)
こういう単純な形の工業製品系は、blenderで自分で作ったほうが早くて綺麗なローポリが作れそう。
UV展開してマテリアル設定とかもしたいから自力で作ろうかな。
やっぱり植物系とかスカルプトで作る感じの物が向いてるかもしれない。
image to 3Dでもやってみる
VRChatの私の部屋にソファを置きたかったから作ってみるか…。
背景が真っ白で良さそうな感じだったのでこちらのページの画像を借りてみます。
特に許可は取っていませんが、権利者の方からクレームがあれば削除します(;^_^A
おっ！なかなか良い感じ？
でも足が細いから無視されてしまったか(;^_^A
まぁ円柱をちょこっと追加すればいいか…。
Advanced optionsでシード値とかいじれる
これはText to 3Dでもあったけど、いくつか設定項目がいじれた。
number of inference stepsは推論ステップ数？でクオリティが上がる感じ？マックスにしたら足が追加されてた。
しかしこの形だとマテリアル分けるのめんどくさそうだな…。
このくらいなら自力ですぐ作れそうだから後で作ってみることにします(笑)。
Shap-Eは小物系が得意な気がするから使い分けると良いかもしれない。
DreamGaussianやRodinなど、３Dモデル自動生成サービスは他にも色々あるっぽい
無料で使えるやつだとDreamGaussianってやつがテクスチャも生成できて使いやすかったです。
しかしこれ高性能なのだけど、デモページがちょくちょくランタイムエラーになっていて、しばらくすると直ってたりするのであんまり安定してないっぽい。
無料だと回数制限があるけど、Rodinっていう3Dモデル自動生成サービスはかなり精度高くて良かったです。
もうなんでもAIで作れるようになっていくなぁ…。
おわりに
AIの進化が凄くてビックリしましたΣ(ﾟДﾟ)
調整は必要だと思うけど、結構なクオリティで作ってくれるっぽい。
動物とか植物系だとやり方次第で結構使えそうかな？
どんどん便利な時代になっていきますね(;^_^A
しかし今年に入ってからAI関連のニュースが多すぎて追いきれませんね…。
次々新しい技術がでてきますが、なんとかついていきたいと思います(;^_^A