バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事はThreeDPoseTrackerを久々に使ってモーションキャプチャーしてみたメモです。
以前使ったことがあるけど、久々に使ってみました。
2025/04/17追記：v0.6.2が出てたのでいじってみました
いつの間にか新しい0.6.2バージョンが出ていましたΣ(ﾟДﾟ)
まぁ一年くらい前に出てたけど、いじるのを後回しにしていた(^_^;)
精度が上がってUIも変わってるので、↓こちらのほうが参考になるかも。
しかしここまで精度が上がってくると、あとは背景や服装など撮影環境の問題な気がします。
VTuber的な実況動画みたいなやつを作りたいだけなら、モーションキャプチャー機材買わなくてもこれだけで十分かもしれない(^_^;)
そのお金で良いwebカメラや撮影環境整えるのに使ったほうが安上がりかも？
追記終わり。
ThreeDposeTrackerとは？ChatGPTに聞いてみた
これはせっかくだからChatGPT君に聞いてみよう(手抜きｗ)
Q, ThreeDposeTrackerとは何か説明してください
A, ThreeDposeTrackerは、カメラや動画から人物の姿勢を追跡し、3D空間でその姿勢を再構築するためのコンピュータービジョンの技術です。
具体的には、ThreeDposeTrackerは、複数のカメラで撮影された複数の画像から、人物の姿勢を推定することで、その人物の動きをトラッキングします。また、ThreeDposeTrackerは、カメラからの距離や人物の実際の身体の大きさなどの情報を使用して、3D空間での姿勢を再構築することができます。
ThreeDposeTrackerは、モーションキャプチャー、スポーツのパフォーマンス解析、仮想現実、ロボットの姿勢制御、人間の行動認識などの分野で使用されます。
え、複数のカメラも使えるのかな？
とりあえず一つのカメラや動画を使って姿勢推定する感じだと思うけど、もしかしたら複数のカメラでもいけるのかもしれない。
ThreeDPoseTrackerの配布ページと動画など
動画だとめっちゃ精度高いので、広い場所で撮影したり背景や服を工夫したりすると精度がかなり上がるのかもしれない。
広角カメラとかだと検出しやすいみたいです。
しかしコメント欄は英語の人が多いな…。
VRChatやVRoidStudioも海外ユーザーのほうが多いっぽいし、この分野は国境を越えてる感ある。
作成したモーションは商用利用など基本自由に使えるみたいです
［ライセンス］
TDPTを使って得たモーションデータのご利用は、個人・法人ともに商用利用はご自由にお使いください。
ライブストリーミングやスクリーンショットの公開なども、ご自由にしていただけます。
ただし、動画を使用した場合その動画の映像、音楽、振りつけ等に関しては著作権に注意してご利用ください。また、内包しているRoomのGLTFデータについても同様です。
全身映ってればかなり精度高い？
気がする。
私の部屋は狭いから、外で三脚でも持って行って動画撮影してやったほうがいいかもしれないｗ
あとはダイソーとかにスマホ用の広角レンズが売ってた気がするから、そういうの使えば狭い場所でも広めの画角が撮れるかもしれない。
ラジオ体操の動画をキャプチャーしてみる
検索したら一番上に出てきたのでこの方の動画を使います。
勝手に使っていいのか分からないけど、権利者の方からクレームがあれば消しますｗ
まぁ宣伝してるわけだからダメとは言わないかな？(;^_^A 多分ｗ
Record BVHボタンを押すとモーションが録画？できます。
↓キャプチャしてみた動画。一部荒ぶったところはあるけど9割以上はいけてると思う。
後ろ反りは誤認識して後ろを向いちゃってるけど…これは体の向きを変えたりして工夫すればいけそうな気がする。
でも二回目の前屈は精度が上がってる気がするので、何回か反復すれば補正してくれるのかも？
↓の動作は2回目までは荒ぶってるけど、三回目以降は正確に認識してる。
あれ、でも字幕が被ってただけか。字幕がなければいけたと思います。
座った姿勢でも行けた！ショート動画のほうが使いやすいかな？
youtubeは 「#short」と入れるとショート動画だけ検索できます。
↓こちらの整体師さん？の動画を使わせてもらいます。
ちょうど全身が写っていて、背景と服の色が分かれていて検出しやすそうという理由だけでチョイスしましたｗ
他人様の動画を使うのもなんだから自分で撮ったほうがいいんだけど、まぁ試しにね(;^_^A
おお！かなりの精度で検出できている…。立位から座位への移行もスムーズ。
横から見て足が重なってる部分はおかしくなってるけど…簡単に修正できる範囲かな。
最後にちゃんとガッツポーズできてる部分は素晴らしいｗ
ちなみに座って足を組んでいるヨガの動画でやろうとしたけど、ちょっと厳しかった(;^_^A
まぁそういう特殊なモーションは使わなそうだからいいかな。
寝ている姿勢もかなりいけた！
こちらも別の整体師さん？の動画を使わせてもらいます。
これはダメかなぁと思ったけど、かなりの精度で検出できた！
最後の d(`･ω･´)b もちゃんとできてるのがイカスｗ
自分で検出しやすい視点を見つけて撮影すれば大抵はいけそう。
モーションによってLock LegやLock Footを使うと良い感じになるかも？
Lock Legは下半身が硬直する感じ？
下手に粗ぶっちゃうよりは割り切って足だけ後で編集するのもいいかも？
モーションにもよるんだろうけど、Lock Footはラジオ体操のモーションだと良い感じに作用した。
これは足首あたりからロックされるのかな？
ラジオ体操のモーションをbvh保存してunityに持って行った
これ直でunityに持って行けたっけ？前はbvhインポーターみたいな奴を使おうとしたらアップデートされてなくてダメだった気が…。
一応blenderでbvhインポートしてから、fbxエクスポートしてみた。
unityにfbxファイルをインポートして、ヒューマノイドリグで読み込んでアニメーションを適用したらいけた！
適用してから、三角のアニメーションクリップをヒエラルキーのヒューマノイドのモデルにD&DすればOK。
これでちゃんと動作した！
↑はLock Footオフでやったやつだけど、後でオンにしてみたら腕を開く動作の時の足はもっと自然な感じになりました。
まぁこのあたりは設定で調整したり何度か撮り直したり、上手く撮れた部分だけ切り貼りして繋げると自然になるかもしれない。
veryanimationで気になるところを修正してみる
VeryAnimationっていうのはこれね。
Very Animation|Unity Asset Store
足が浮いちゃうところはアニメーションクリップのY軸設定を変えたら良い感じになった
でもveryanimationだと警告出るんだよな…。
見ながら調整するしかないかも(;^_^A
上手く動作してるところだけ切り抜いてコピペしてみる
モーションとして使いたいだけなので、上手くいった部分だけ取り出してコピペすれば特に問題ないかな。
VeryAnimationならフレームを指定してトリミングできるので、元のファイルを残しつつ欲しい部分をトリミングする。
create new clipで保存できる(ミラーも作れる)
アニメーションクリップを小分けにしたら、veryanimationのツール「追加」でアニメーションクリップを繋げられます。
繋ぎ合わせやすいように、始点と終点のポーズはある程度合わせておいたほうがいいかもしれない。
こうやってコピペできるから、自撮りで何回もビデオ撮って上手くいった部分だけ使うのがいいかもしれない。
100MB以上あるΣ(ﾟДﾟ)さすがにラジオ体操全部はきついか…
6000フレームくらいあるから流石に重いか(~_~;)
VRChatのワールドは200MBまでだっけなぁ。さすがにこれは使えない…。
ラジオ体操って反復動作の組み合わせだから、一個一個アニメーションクリップに分割してアニメーターでコントロールしたほうが遥かに軽くなりそう。
分割したら18MBまで減った
反復動作が多いモーションだから、分割してアニメーターで繋げば容量を節約できるかな。
かなり長い遷移になったが…。
18MBまで減らせました。
VeryAnimationはキーフレームの削減もできるけど、やりすぎると当然ながら荒ぶってしまう可能性が上がる(~_~;)
短いモーションの組み合わせで作れるならそのほうがいいかな。
VRChatのワールドにアップしてみた
おお、結構いい感じに動いた！
動画からの抽出でここまでできれば十分すぎるのでは。
あとは編集して上手く活用する方法を考えたほうがいいかもしれない。
せっかくだからちょっとだけ寄付してみるｗ
フリーソフトは作者さんのモチベーションが下がると開発中止になっちゃったりするからね…。
とりあえず2000円だけ寄付しておこう。
Discordの招待状が貰えるっぽいけど、お返ししたいだけだからとりあえずいいか…。
他に気になるモーションキャプチャー機材とか
モーション関係は他にも調べてみたけど、安価なモーションキャプチャー機器も出てきてるから一応ここで紹介しておきます。
まぁVRChatでフルトラッキングしたいとかじゃなければ、ThreeDPoseTracker使ったり、Mixamoとかでモーション拾ってくればいいかな？
特に寒い時期はMeta Quest2被るだけでも億劫になるからなぁ(~_~;)
Mocopi
ソニー製のモーションキャプチャー機器。
2025/04/17現在では49500円でお値段手ごろ。
スマホかPCで操作できるみたいです。
これは使ってる人結構いるから、他のVRアプリ連携とかも結構されるイメージ。
UniMotion
個人VTuberさんやVRChat民で使ってる人が多いっぽい？
2025/04/17現在では39800円でお値段手ごろ。
HaritoraX2
これも結構使ってる人多いかな？2025/04/17現在ではお値段39999円とかなりお値段手ごろ。
もし買うならこのあたりの安価なやつかな？
私は基本VRChatとかは座ってやってるから、高いの買ってもタンスの肥やしになりそうだな…。(;^_^A
Wonder Studio
人物が映ってる動画をアップすると、指定した３Dモデルと入れ替えてくれる凄いサービス。
しかし無料版だとかなり制限があって凄さがイマイチ試しづらいが…。
有料版だとモーションキャプチャーデータをダウンロードしたりできるっぽい。
割引で月16ドルくらいだし、面白そうだから課金して使ってみるかな…？
しかしこれもThreeDPoseTrackerと同じ画像解析系だろうから、動画の映りによって精度が変わってくるかもしれない。
まぁ使ってみたら記事にしてみるかもしれません。
Webcam Motion Capture
月額199円というタダみたいな安さΣ(ﾟДﾟ)無料でも体験できる。
ThreeDPoseTrackerと比較されることが多いみたい。
↓こちらの先輩によると、FBXでモーションデータをエクスポートできるからMMDモーションに変換したりもできるっぽい。
ちょっと使ってみたけど、精度だけならTDPTのほうが高めかな？(;^_^A
しかし細かい機能などが違うっぽいので使い分けてる人が多い印象？
XR Animator
これも画像認識系のモーションキャプチャーアプリ。
私が使ってみた感じだとTDPTのほうが精度高いかと思ったけど、先輩たちの作例を見ると私より遥かにキビキビ動いていたのでやり方次第かな？(;^_^A
画像認識系のモーションキャプチャーはwebカメラの性能、撮影環境、動かすPCのスペックによって全くクオリティが違ってきますね。
環境によって相性も違うかもしれないので、色々使って試してみると良さげ。
おわりに
画像からの姿勢推定だけでここまでモーションキャプチャーできるのはすごいと思った。
VTuber的な動画作ったり、unityで使う用にモーション作りたいだけならThreeDPoseTrackerだけでもだいぶいけそう。
あとはMixamoとかでもモーション配布されてるからそういうのを使うのもいいかもしれない。
とりあえずThreeDPoseTrackerの精度を上げる工夫やアニメーション編集の仕方を考えてみようかな？
とりあえずVRChatのワールドに使いたいだけだけど、動くと楽しいからね(;^_^A