バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事は3Dモデル自動生成のDreamGaussianを使ってみたのでそれについての記事です。
画像からテクスチャ付の3Dモデルが作れて凄かったです。
DreamGaussianっていうのはこれね。
Githubのページはこちら。
現在、3D自然環境系アセットが50%オフで買える Unityパブリッシャーセール をやってるみたいです(2025/09/25 23:59まで)。
クーポンコード JASONBOOTH を使うと、↓3D自然環境を手軽に作れるMicro Verseアセットがタダで貰えます(決済時にクーポンコード入力適用で0円に)。
BOOTHでVRoidテクスチャやVRChat向けオブジェクトなどを販売しています。いいねしてくれると励みになります(*^-^*)
2025/05/19追記：DreamGaussianのhuggingfaceページはランタイムエラーで使えないっぽい
久々にアクセスしたらランタイムエラーになってましたΣ(ﾟДﾟ)
前もランタイムエラーになっていたけど、しばらくしたら直っていたから待ってれば復旧するかな？
huggingfaceやPythonについてあまり詳しくないから原因はよくわからんっす(-_-;)
Githubのページも更新されてないけど残ってるから、ローカルで環境作ればいけるか？
StabilityAIのTripoSRってやつもランタイムエラーに…
これStabilityAIの3D自動生成AIで結構精度高いんだけど、これもランタイムエラーになっていましたね…。
↓これ使えるとかなり精度が高かったのだが…。
楽天の三木谷さんじゃないけど、まぁいつまでもタダで使われても困るかｗ
有料だといくつか出てるから、安定して使いたいなら有料のやつのほうが良いんだろうな…。
有料のやつを使うか、無料で使えるやつを使うしかないかな？
Rodinっていう3D自動生成AIはかなり精度が高かったです。
無料枠がある有料のやつですが、これまでで一番精度が高いかも。
しかし有料となるとアセットストアと競合するような…？
セール時を狙ってアセットストアで買った方が、プロがセットアップした3Dモデルをリーズナブルに使えるし。
でも世界観に合ったオリジナルのオブジェクトが欲しいゲーム製作者さんとかは重宝するかな？
あとOpenAIのShap-Eとかいう3D自動生成AIはランタイムエラーにならずに使えていますが、精度はちょっと低めですね…。まぁタダだから文句言えないけども。
追記終わり。
DreamGaussianとは
とりあえずGoogleのBard氏に聞いてみよう。
DreamGaussianは、1枚の画像から高品質な3Dモデルを生成できるAIツールです。2023年10月に発表されたばかりの新しい技術で、従来の3Dモデル生成技術に比べて、生成速度が10倍速く、品質も向上しています。
DreamGaussianは、3DガウススプラッティングやUV空間でのメッシュ抽出手法を用いて、画像から3Dモデルを生成します。3Dガウススプラッティングは、画像を3D空間に投影する手法で、UV空間でのメッシュ抽出は、画像のテクスチャを3Dモデルに適用する手法です。
DreamGaussianの特徴は、以下のとおりです。
生成速度が従来の手法に比べて10倍速い
生成される3Dモデルの品質が高い
画像の解像度に関係なく、高品質な3Dモデルを生成できる
DreamGaussianは、さまざまな分野で活用できる可能性があります。例えば、ゲームや映画の制作、商品デザイン、教育などです。DreamGaussianの使い方は、以下のとおりです。
公式サイトにアクセスし、アカウントを作成します。
画像をアップロードします。
生成ボタンをクリックします。
生成された3Dモデルは、STL形式でダウンロードできます。
らしいです。
あれ、でも別に登録しなくてもhuggingfaceから使えたし、ダウンロードはglb形式だったけど…。
bard氏もしかしてDreamGaussianエアプ…！？Σ(ﾟДﾟ)
公式ページなど
DreamGaussianはここから試せます。
githubのページはこちら。
参考にした先輩のページ
とても参考になりました。
ありがとうございます(*^-^*)
使い方
使い方ってほど難しいわけじゃないけど一応書いておきます。
画像をアップしてGenerate3Dボタンを押す
ここをクリックして好きな画像をアップする。
下の方にあるGenerate 3Dボタンを押せばOK。
しかしサンプルに版権キャラ載せてるのはあまり宜しくなさそうだけど…(￣▽￣;)
完成したらダウンロードする(glbファイル)
完成したらglbファイルとしてダウンロードできます。
ダークモードにしてるから見にくいけど端っこにダウンロードボタンができているので押す。
実際に作ってみる
サボテンを作ってみる
検索したら出てきたこちらのショップの画像を使ってみます。
特に許可などは取っていないため、権利者の方からクレームがあれば消します(;^_^A
おお…かなりクオリティが高いかも？Σ(ﾟДﾟ)
blenderで開いたらテクスチャも設定されてた
マテリアルビューで見たらちゃんと色も設定されていた。
テクスチャもちゃんと設定されてたので、一旦blenderで開けばテクスチャを保存できます。
Shap-Eより精度高いかも？
以前OpenAIのShap-Eをいじってみたけど、こちらよりも精度は高いかも？
↓はShap-Eで生成したやつだけど、同じ画像で生成してみたらなぜか植木鉢が二つある…。
blenderに持って行って見たけど、こちらはテクスチャやマテリアルは設定されていなかった。
ポリゴン数は結構多い
自動生成系はスカルプトみたいな頂点が多い感じになるのかな？
ポリゴン数は多め。
↓デシメートしたらこのくらいまでは減らせたけど、あんまりやると粗が酷くなるからこのくらいが限界かな。
私のモデルも試してみる
既に3Dになってるのに意味がないけど一応ｗ
うーんディテールの細かい人物系はちょっときついのか？重くてタイムアウトエラーになってしまった。
その後一応生成されたけどちょっときつそう。
こちらの先輩も人物は難しそうって言ってるからやっぱちょっときついのかな。
リンクはこちらhttps://t.co/4rlPXUoPZj
人の3D化は難しそうですw pic.twitter.com/2mGJ6L0V5s
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) October 12, 2023
まぁ人物系はVRoid StudioやMakeHumanとか色々あるし、無理して自動生成しなくていいかな。
人物モデルについてはVRoid StudioやMakeHumanみたいなソフトで既にある程度完成されている気がする。
ソファ
Shap-Eでもやってみたけどこっちでも試してみよう。
Shap-Eでやった時の画像はこれです↓
元画像はこちらのサイトからお借りしました。
特に許可などは取っていないため、権利者の方からクレームがあれば消します。
あれ、Shap-Eのほうが精度高いかもしれない…。モノによるのかな？
なんか変なモコモコが付いてるし……ベルファイアに乗って毎週末ドン・キホーテに行ってそう(笑)
ソファはこの前作ったけど割とすぐできたし、工業製品系は自分で作ったほうがメンテナンス性を担保しやすくて良いかもしれないな…。
まぁ自分で作ったほうがオブジェクトやマテリアルを分割しやすいってのはある。
犬
Shap-Eでも作ってみたけど、こっちだとどうだろ。
↓はShap-EのText to 3Dで作ったゴールデンレトリバー。ただの金色の犬になったのだけどこれはこれで使えそう。
元画像はこちらのサイトからお借りしました。
特に許可などは取っていないため、権利者の方からクレームがあれば消します。
おお、これはなかなか良いかも？
まぁちょっと後ろが気になるけど、正面だけどここまで推定できれば十分かな。
色々な角度から撮って整合性を持たせればもっと精度上がるんだろうけど、こんな感じで手軽に試すのは難しくなりそうかな。
ノートパソコン
こういう単純な形のやつはShap-Eでもいい感じに生成できていました。
まぁ結構ゴツゴツしていたので結局自分で作ったけどｗ
元画像はドスパラさんのサイトからお借りしました。
特に許可などは取っていないため、権利者の方からクレームがあれば消します。
んー……なんかバイオハザードの新しいクリーチャーみたいなのができたぞ…？Σ(ﾟДﾟ)
Shap-Eのほうが精度高いかと思ったけどそうでもないみたい。
学習したデータによるだろうからどれも一長一短があるのか？
まぁこのくらいなら自分で作ったほうがいいか…。
けっこうゴツゴツしてるのは相変わらずなので参考にするくらいがいいかな？
自動生成だから仕方ないんだろうけど結構ゴツゴツしてるし、まぁ参考にして自分で作ってみるくらいがいいかな？
AIイラストもそうだけどAI製だと嫌われるリスクがあるし、元画像がオリジナルでもそのまま使うのはあんまり良くなさそう。
まぁblenderはチュートリアル動画や記事が充実してるので、簡単なモデルならもうそんなに手間かけずに作れたりするしな…。
AI使うと色々言われたりするので、参考やベースに使う程度に留めて、自分で仕上げていったほうがいいかな？と思います。
そのほうがテクスチャ変えたりメンテナンスもしやすいだろうし、unityとかで使う場合はセットアップもしないといけないし…。
PolycamのAIテクスチャジェネレーターっていうのがあるけど、AIを使うならこっちのほうが素材として気楽に使えそうな気がする。
でもお手本として表示しておけば形を真似するだけで手軽に作れそうだし、そういった使い方をしていくと良いかも。
おわりに
自動生成でここまでできて凄かった。
まぁまだ発展途上な感じではあるけど、現時点でこれなら数年後にはもっと凄いのが出てきてるかもしれない。
技術の発展は凄いですねΣ(ﾟДﾟ)
まぁAIはそのまま使うと色々言われる可能性もあるし、参考に使うくらいにしといたほうがいいかな？
まぁもう少しいじってみます(*^-^*)