バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事はThreeDPoseTrackerを久々に使ってモーションキャプチャーしてみたメモです。
以前使ったことがあるけど、久々に使ってみました。
ThreeDposeTrackerとは？ChatGPTに聞いてみた
これはせっかくだからChatGPT君に聞いてみよう(手抜きｗ)
Q, ThreeDposeTrackerとは何か説明してください
A, ThreeDposeTrackerは、カメラや動画から人物の姿勢を追跡し、3D空間でその姿勢を再構築するためのコンピュータービジョンの技術です。
具体的には、ThreeDposeTrackerは、複数のカメラで撮影された複数の画像から、人物の姿勢を推定することで、その人物の動きをトラッキングします。また、ThreeDposeTrackerは、カメラからの距離や人物の実際の身体の大きさなどの情報を使用して、3D空間での姿勢を再構築することができます。
ThreeDposeTrackerは、モーションキャプチャー、スポーツのパフォーマンス解析、仮想現実、ロボットの姿勢制御、人間の行動認識などの分野で使用されます。
え、複数のカメラも使えるのかな？
とりあえず一つのカメラや動画を使って姿勢推定する感じだと思うけど、もしかしたら複数のカメラでもいけるのかもしれない。
ThreeDPoseTrackerの配布ページと動画など
動画だとめっちゃ精度高いので、広い場所で撮影したり背景や服を工夫したりすると精度がかなり上がるのかもしれない。
広角カメラとかだと検出しやすいみたいです。
しかしコメント欄は英語の人が多いな…。
VRChatやVRoidStudioも海外ユーザーのほうが多いっぽいし、この分野は国境を越えてる感ある。
作成したモーションは商用利用など基本自由に使えるみたいです
［ライセンス］
TDPTを使って得たモーションデータのご利用は、個人・法人ともに商用利用はご自由にお使いください。
ライブストリーミングやスクリーンショットの公開なども、ご自由にしていただけます。
ただし、動画を使用した場合その動画の映像、音楽、振りつけ等に関しては著作権に注意してご利用ください。また、内包しているRoomのGLTFデータについても同様です。
全身映ってればかなり精度高い？
気がする。
私の部屋は狭いから、外で三脚でも持って行って動画撮影してやったほうがいいかもしれないｗ
あとはダイソーとかにスマホ用の広角レンズが売ってた気がするから、そういうの使えば狭い場所でも広めの画角が撮れるかもしれない。
ラジオ体操の動画をキャプチャーしてみる
検索したら一番上に出てきたのでこの方の動画を使います。
勝手に使っていいのか分からないけど、権利者の方からクレームがあれば消しますｗ
まぁ宣伝してるわけだからダメとは言わないかな？(;^_^A 多分ｗ
Record BVHボタンを押すとモーションが録画？できます。
↓キャプチャしてみた動画。一部荒ぶったところはあるけど9割以上はいけてると思う。
後ろ反りは誤認識して後ろを向いちゃってるけど…これは体の向きを変えたりして工夫すればいけそうな気がする。
でも二回目の前屈は精度が上がってる気がするので、何回か反復すれば補正してくれるのかも？
↓の動作は2回目までは荒ぶってるけど、三回目以降は正確に認識してる。
欲しいモーションがあれば何度か動作を繰り返してみると良い感じに取れるかもしれない。
座った姿勢でも行けた！ショート動画のほうが使いやすいかな？
youtubeは 「#short」と入れるとショート動画だけ検索できます。
↓こちらの整体師さん？の動画を使わせてもらいます。
ちょうど全身が写っていて、背景と服の色が分かれていて検出しやすそうという理由だけでチョイスしましたｗ
他人様の動画を使うのもなんだから自分で撮ったほうがいいんだけど、まぁ試しにね(;^_^A
おお！かなりの精度で検出できている…。立位から座位への移行もスムーズ。
横から見て足が重なってる部分はおかしくなってるけど…簡単に修正できる範囲かな。
最後にちゃんとガッツポーズできてる部分は素晴らしいｗ
ちなみに座って足を組んでいるヨガの動画でやろうとしたけど、ちょっと厳しかった(;^_^A
まぁそういう特殊なモーションは使わなそうだからいいかな。
寝ている姿勢もかなりいけた！
こちらも別の整体師さん？の動画を使わせてもらいます。
これはダメかなぁと思ったけど、かなりの精度で検出できた！
最後の d(`･ω･´)b もちゃんとできてるのがイカスｗ
自分で検出しやすい視点を見つけて撮影すれば大抵はいけそう。
モーションによってLock LegやLock Footを使うと良い感じになるかも？
Lock Legは下半身が硬直する感じ？
下手に粗ぶっちゃうよりは割り切って足だけ後で編集するのもいいかも？
モーションにもよるんだろうけど、Lock Footはラジオ体操のモーションだと良い感じに作用した。
これは足首あたりからロックされるのかな？
ラジオ体操のモーションをbvh保存してunityに持って行った
これ直でunityに持って行けたっけ？前はbvhインポーターみたいな奴を使おうとしたらアップデートされてなくてダメだった気が…。
一応blenderでbvhインポートしてから、fbxエクスポートしてみた。
unityにfbxファイルをインポートして、ヒューマノイドリグで読み込んでアニメーションを適用したらいけた！
適用してから、三角のアニメーションクリップをヒエラルキーのヒューマノイドのモデルにD&DすればOK。
これでちゃんと動作した！
↑はLock Footオフでやったやつだけど、後でオンにしてみたら腕を開く動作の時の足はもっと自然な感じになりました。
veryanimationで気になるところを修正してみる
VeryAnimationっていうのはこれね。
Very Animation|Unity Asset Store
足が浮いちゃうところはアニメーションクリップのY軸設定を変えたら良い感じになった
でもveryanimationだと警告出るんだよな…。
見ながら調整するしかないかも(;^_^A
上手く動作してるところだけ切り抜いてコピペしてみる
モーションとして使いたいだけなので、上手くいった部分だけ取り出してコピペすれば特に問題ないかな。
VeryAnimationならフレームを指定してトリミングできるので、元のファイルを残しつつ欲しい部分をトリミングする。
create new clipで保存できる(ミラーも作れる)
アニメーションクリップを小分けにしたら、veryanimationのツール「追加」でアニメーションクリップを繋げられます。
繋ぎ合わせやすいように、始点と終点のポーズはある程度合わせておいたほうがいいかもしれない。
こうやってコピペできるから、自撮りで何回もビデオ撮って上手くいった部分だけ使うのがいいかもしれない。
100MB以上あるΣ(ﾟДﾟ)さすがにラジオ体操全部はきついか…
6000フレームくらいあるから流石に重いか(~_~;)
VRChatのワールドは200MBまでだっけなぁ。さすがにこれは使えない…。
ラジオ体操って反復動作の組み合わせだから、一個一個アニメーションクリップに分割してアニメーターでコントロールしたほうが遥かに軽くなりそう。
分割したら18MBまで減った
反復動作が多いモーションだから、分割してアニメーターで繋げば容量を節約できるかな。
かなり長い遷移になったが…。
18MBまで減らせました。
VeryAnimationはキーフレームの削減もできるけど、やりすぎると当然ながら荒ぶってしまう可能性が上がる(~_~;)
短いモーションの組み合わせで作れるならそのほうがいいかな。
VRChatのワールドにアップしてみた
おお、結構いい感じに動いた！
動画からの抽出でここまでできれば十分すぎるのでは。
あとは編集して上手く活用する方法を考えたほうがいいかもしれない。
せっかくだからちょっとだけ寄付してみるｗ
フリーソフトは作者さんのモチベーションが下がると開発中止になっちゃったりするからね…。
とりあえず2000円だけ寄付しておこう。
Discordの招待状が貰えるっぽいけど、お返ししたいだけだからとりあえずいいか…。
他に気になるモーションキャプチャー機材とか
モーション関係は他にも調べてみたけど、安価なモーションキャプチャー機器も出てきてるから一応ここで紹介しておきます。
まぁVRChatでフルトラッキングしたいとかじゃなければ、ThreeDPoseTracker使ったり、Mixamoとかでモーション拾ってくればいいかな？
特に寒い時期はMeta Quest2被るだけでも億劫になるからなぁ(~_~;)
Mocopi
ソニー製のモーションキャプチャー機器。49500円でお値段手ごろ。
しかしこれスマホアプリで動作するらしいので、ハイエンドスマホを持ってないとダメっぽい。
私の手持ちのandroid端末はすべて対応してなくてplaystoreのアプリインストールすらできなかった…。
iphoneとかハイエンドandroidスマホ持ってる人はそのまま使えるだろうから良いかもしれない。
UniMotion
個人VTuberさんやVRChat民で使ってる人が多いっぽい？49500円でお値段手ごろ。
Meta Quest2と組み合わせられるので手軽にトラッキング増やせて良さそう。
しかし2023/03/08現在売り切れてて買えない…。
HaritoraX
これもMeta Quest2と組み合わせて使えて、お値段33900円とかなりお値段手ごろ。
ワイヤレス版が2023年6月あたりに出るみたい。こちらも39999円とお値段手ごろ。
もし買うならこのあたりの安価なやつかな？
基本VRChatとかは座ってやってるから、高いの買ってもそこまで活かせなさそう(;^_^A
おわりに
画像からの姿勢推定だけでここまでモーションキャプチャーできるのはすごいと思った。
VTuber的な動画作ったり、unityで使う用にモーション作りたいだけならThreeDPoseTrackerだけでもだいぶいけそう。
あとはMixamoとかでもモーション配布されてるからそういうのを使うのもいいかもしれない。
とりあえずThreeDPoseTrackerの精度を上げる工夫やアニメーション編集の仕方を考えてみようかな？
とりあえずVRChatのワールドに使いたいだけだけど、動くと楽しいからね(;^_^A