バーチャル3Dクリエイター神部まゆみです(*^_^*)
この記事はXR Animatorを使ってみたので、それについての記事です。
ThreeDPoseTrackerっていうモーションキャプチャーするソフトウェアもあるけど、あれと同じような感じでカメラや動画からモーションキャプチャーできます。
動作確認した最新バージョンは XR Animator v0.37.2(先行版)、Unity 6000.3.1 です。
無料版は配信が5バージョンくらい遅れてるけど、以前動かせたから普通に動くと思います。
現在、環境系アセットが50%オフで買える Unityパブリッシャーセール をやってるみたいです(2026/01/29まで)。
クーポンコード HIVEMIND を使うと、↓の House On A Hill Environment アセットがタダで貰えます(決済時にクーポンコード入力適用で0円に)。
BOOTHでVRoidテクスチャやVRChat向けオブジェクトなどを販売しています。いいねしてくれると励みになります(*^-^*)
XR Animatorとは
BOOTHのページによると、
「XR Animator」は、AIベース (MediaPipe) の全身モーション キャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows/Linux/macOS(*)版の両方が利用可能です。 Windows/Linux/macOS バージョンは、VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。
だそうです。
GTX750、メモリ4GBレベルでも動くっぽい
だいぶ低スペックでも動くみたいです。
Windows版 – 動作環境 / System Requirements
Windows 10/11
CPU: 2.4GHz CPU Quad Core
Memory: 4GB
Graphics: Geforce GTX 750
GTX750 メモリ4GBで動くなら、新しいPCの内蔵グラフィックならだいたい動きそうな気がする。
最近はRTX3050に匹敵する内蔵グラフィックが出てたりするし、グラボがなくても設定やメモリ次第でだいたいのゲームは動きますね。
しかし低スペックだとフレームレートはやっぱり低めになるかな？
今はドスパラの中古で RTX2070 SUPER ～ RTX3060 レベルのマシンが5～6万くらいで売られてるので、本気で動かしたければ中古でもいいからゲーミングPC買うのもいいかも。
追記：Ryzen7 4750Uノートの内蔵グラフィックでそこそこ動きました
最近Ryzen7 4750U 16GBのノートを買ったけど、これでもそこそこ動きましたね。
ポーズを元に動かす上半身モードだと負荷が下がるみたいで割とサクサク動きました。
このマシンはGT1030に近いくらいの内蔵グラフィックがあるようだけど、Intelで言えば12世代 Core以降の内蔵グラフィックなら多分同じくらい動く気がします。
追記おわり。
公式Discordや作者さんのXアカウントなど
先輩たちの作例とか
↓この先輩の動画が一番クオリティ高かったな…MMDで編集してるっぽいけど一日でできたようですΣ(ﾟДﾟ)
\うい麦畑でつかまえて/
— 出口貞夫🐺🔌名前と声にギャップのあるVtuber (@DeguchiSadao) August 14, 2024
作業の息抜きに
XR Animatorで全身フルトラキャプチャー
MMD内で自作モーションデータを編集してみたよ！
🔻音あり本編動画とクレジットhttps://t.co/XQayvCDlAv#vtuber #踊ってみた #MMD pic.twitter.com/xvdiIjsYl2
常にこのクオリティが出せるなら、モーションキャプチャー機材はもはやいらないかもしれません…。
まぁなかなかそうもいかないんだろうけども(^_^;)
MMDerの人たちは手打ち勢が多いため、モーションの編集スキルも高い印象がある。
あと↓はXR Animator作者さんの動画だけど、楽器の演奏のモーションキャプチャーもできる機能があるみたいで凄いですΣ(ﾟДﾟ)
もはや映像系のモーションキャプチャーはほぼ完成の域に来ているのでは…。
これなら低コストで個人アニメ制作とかもできそうですね。
カメラや動画のFPSや解像度、画角が重要っぽい？
インポートする動画のFPSや解像度、画角などが重要っぽいので、私がそのまま真似しようとしてもクオリティが低くなりそうだな…。
ありがとうございます！
— 出口貞夫🐺🔌名前と声にギャップのあるVtuber (@DeguchiSadao) August 15, 2024
ウェブカメラは高いフレームレートが出せる（60fps）もの、
高視野角、高解像度のものの方が綺麗にトラッキング出来ました。特にフレームレート大事そうです。
スマホで録画した物も読み込めたので（ドラッグ＆ドロップ）
配信以外でしたらそちらがおススメだったりします☺️
TDPTをいじった時も、部屋の明るさや映り込む背景とかでもだいぶ精度が変わってきたし。
こういう画像認識系のモーションキャプチャーは、先輩たちの作例を見ても人によって精度が全然違いますね…。
「これ私の使ってるヤツと違う！Σ(ﾟДﾟ)きっと富裕層向けの高いXR Animatorを使っているんだ！」みたいに思ったりするけど(笑)、解像度が高く画角も広いwebカメラを買ったり工夫する必要があるかもしれない。
ダウンロードしてセットアップする
作者さんをFANBOXで支援すると先行配信版(3ヶ月以上進んだバージョン)が使えるけど、BOOTHの無料版でも十分な精度があるのでまずこちらを使ってみます。
Windows版は一番上にあった。
zipがダウンロードできたら展開します。
electron.exeってやつを起動すればいいみたいです。
STARTっていうボタンが表示されるからクリックする。
透過する感じで起動するようです。
VRMやFBXモデルも読み込める
VRoidの私のモデル(VRM1.0)もD&Dして読み込めました。
まぁでも今回はモーションを撮りたいだけだからデフォルトのモデルでやってみようかな。
映像を入れてモーションキャプチャーしてみる
youtubeで検索したら出てきた、かんぽ生命公式のラジオ体操動画を使ってみます。
なぜかんぽ生命公式がこんな動画を上げているのかは不明ですが、まぁかんぽ生命をよろしく…ｗ
↓全身を選んで、動画をD&DしてスタートすればOK。
なかなかの精度ですΣ(ﾟДﾟ)
しかし場所によってはちょっとあらぶっちゃうかな？
このあたりは解像度や設定で変わってくるかもしれない。
録画してBVHファイルにできる
↓「モーションを記録する」で記録、BVHファイルにしてエクスポートしてみます。
blenderでBVHファイルをFBXに変換、unityに持っていく
位置合わせをして、全トランスフォームを適用してからFBXでエクスポートします。
詳しくは以前書いたのでこちらを参照。
ちゃんと再生できた
これデフォルトだと床にめりこんでたけど、blenderで高さを合わせたら良い感じになりました。
モーション編集や足を接地させる方法など
足IKを使うと良い感じに接地させられるっぽいです。
あとUmotion ProやAnimation Designerなどのアセットを使うとRootや部位ごとの編集がしやすかったです。
生放送で使うとか、上半身だけモーションキャプチャーできればいいなら編集はあまり必要ないけど、ゲームやアニメーションで使いたいなら編集も必要になってきますね。
Look AnimatorやEyes Animatorと併用すると手軽にキャラを活き活きさせられるのでおすすめ
アニメーションクリップを編集してゲームや動画に使う場合、Look AnimatorやEyes Animatorと併用すると手軽にキャラを活き活きさせられます。
XR Animatorと併用してみたら手軽に↓こんな感じの動きが作れたので、カメラ次第で主観視点のアニメとかも作れそうです。
↑はuLipSyncっていう口パクさせられるアセットも使っています。
TDPTと組み合わせると良い感じになる？
TDPTのほうが精度は高いかな…？と思ったけど、組み合わせると良い感じになるとか？
やり方は分からないけども(;^_^A
2024年8月現在、MMD用の動画からモーションを作るツールの最適解は
— Finger Five(AI Illustrator) (@FingerFive_AI) August 3, 2024
TDPT v0.6.2とXR-Animator_v0.23.1の合わせ技な気がする #MMD #TDPT #XRAnimator #モーショントラッキング #動画からモーション pic.twitter.com/l0h3lgbfXm
私にとって三種の神器アプリ❣
— CoCoNo⌘【VirtualDroneDrummer】 (@izmtai) January 15, 2025
60FPSに対応できるTDPTがドラムを担いギターやベース竿物をXRAnimatorが再現性を高めてくれて、それをローカル展開できるメタバースワールドのようなwarudoで自由に動画収録が出来るんです☺️
webカメラだけで始めること出来きます✨
ずっとこれを探求してました💕 pic.twitter.com/6ogiaUyOK3
調べるとKinectとか他のVR端末と組み合わせてる先輩がいたり、単体よりは組み合わせてやるのが良いのかな？
追記：Webカメラでやったら普通に精度高かった
Webカメラでやってみたら座るモーションもちゃんと検出されて普通に精度高かったですΣ(ﾟДﾟ)
Mocopiとか買うのもいいなあと思ってたけど、他アプリと連携もできるしこれだけでも十分な性能があるかも…(；ﾟдﾟ)
TDPTもそうだけど、画像認識系のモーションキャプチャーは入力する映像に依存する部分がかなり大きいから、ユーザー側の歩み寄りが必要な感じがする。
認識しやすい背景や服装を選んだり、性能の良いWebカメラを使ったり。
スマホをWebカメラとして使うのもアリか…
↑の映像はiVCAMっていうアプリでスマホをWebカメラにしてやってみました。
私の持ってるWebカメラは性能が低いので微妙だったけどこっちのほうが良かったΣ(ﾟДﾟ)
iVCam – 携帯電話をPCウェブカメラとして使う |E2ESOFT
iVCam コンピュータカメラ – Google Play のアプリ
FHD以上の画質でまぁまぁの視野角があるものは数千円くらいで買えるけど、用途がこれしかないからわざわざ買うのも…と思ってたから手軽に試せてよかった。
今はどのスマホも高画質が当たり前なため、下手なWebカメラよりも性能が良いですね(;^_^A
あとはWindows11でもスマホをWebカメラにする機能が最近搭載されたっぽいので、PC側にもBluetoothがあればこれも使えます。
カメラの有効視野(画角)は重要！視野が狭いと歩きまわれない…
カメラの有効視野(画角)が狭いと映像に映る範囲が狭くなるため、デフォルトでズームインしたような状態なので歩き回ることができません。歩き回るとカメラに映らなくなるため。
↓は私の性能の低い720Pのwebカメラでやったやつだけど、部屋でかなり離しても画角が狭いため動き回ると検出できなくなりました。これワンルームとかだったら多分無理かな…(;^_^A
↓は同じwebカメラで位置も同じだけど、ダイソーに売ってた魚眼レンズを付けて視野を広げてみたところ。これだけで視野が広くなって動き回ってもちゃんと検出されてる。
追記：3000円くらいでなかなかの性能のwebカメラ買えたので買ってみるのも良いかも
これからwebカメラ買うなら最低1080P以上、画角90°以上、できれば60FPSのやつを探すとそれなりの精度で行けるかもしれない。
検索したら90FPSのヤツも出てるようだけど、あまり性能が高すぎてもマシンスペックがボトルネックになったり、そもそもアプリ側で対応してるか分からないのでそこまではいらないかな…。
↓Amazonのセールで3000円以下でなかなかの性能のwebカメラが買えたけど、精度が全然違ったので買ってみるのも良いかもしれない。
マシンスペックも必要だけど、XR Animatorは割と低スペックでも動くっぽいし、精度が低い場合は入力側を疑ったほうがいいかな…。
しかし3万円台でUnimotionとか安めのモーションキャプチャー機材買えるし、あまり高いwebカメラ買うのも微妙かもしれない(~_~;)
まぁせいぜい5000円くらいまででも結構スペック高いのあるので探してみると良いかもしれません。
自作ポーズを読み込んで上半身ブレンドモードで動かすなら低解像度カメラでも普通にいけそう
XR Animatorにはポーズを読み込んで上半身だけ動かす上半身ブレンドモードがあるため、これなら低解像度カメラでも余裕で動きそうです。
映像系のモーションキャプチャーは座位や寝ている姿勢がやはり精度低くなる傾向にあるため、割り切ってこんな感じで動かしたほうが良いか…。
PCとカメラの性能が良くても、そもそも部屋が狭かったり散らかってると精度が悪くなるため住環境に依存する部分もあるし(^_^;)
VRChatでは直接は使えないけど、Clusterはいけるっぽい？
VRChatはOSCが使えるからTDPTは動かせたけど、XR Animatorは使えないっぽい？
しかしDiscordを見たところ、OSCに変換するアプリを使えばいける感じ？みたいです。
Clusterはあまり詳しくないけど、なんかワールドにスクリプトが使える感じみたい？で、作者さんのワールドに行けば動かせました。
XR Animator – Cluster World (with OSC mocap support)｜メタバースプラットフォーム cluster（クラスター）
EVMC4Uを使ったらUnity内でモーションキャプチャーできた
EVMC4Uっていうやつを使ったら、VMC Protcolを通じてXR AnimatorからUnityにモーションキャプチャーデータを送れました。
これだとC#スクリプトを動かしたりUnityの機能が使えるため、動画作ったり配信するのに使えそうです。
↓uLipSyncとも併用出来たので、これでOBS配信したりアニメに使ったりできそうです。
これは背景がテキトーだったので右手のあたりの精度が低めになってますが、後ろにカーテンとかつけて検出しやすくするともっと自然に検出できました。
XR Animatorにも顔検出機能があるので口パクはできますが、uLipSyncはオーディオクリップから音声を流して口パクするので、ずんだもんとかの合成音声を使って動かすのに向いています。
追記： XR Animator v0.37.0でリップシンクに対応したっぽい
先行版のXR Animator v0.37.0 でリップシンクに対応したみたいです。
使ってみたけどマイク入力のリップシンクっぽい？オーディオクリップは無理かな…。
ボイチェン配信とかならいけるかな？
まぁ今後のアップデートで改良や機能追加もされていくと思います。
せっかくなのでFANBOXで支援してみる
500円以上のプランに入ると先行配信版を貰えるみたいなので支援してみました。
1500円のゴールドサポーターになるとスポンサーとして名前が載るようですが、まぁそこまではいいかな…(^_^;)
FANBOXは毎月1日に引き落としされるため月末に入ると損なのだけど、アップデートも頻繁だし普通に凄いアプリだと思うので月末とか気にせず入った。
アップデートを続けてほしければ支援したほうが良いかも？(^_^;)
XR Animatorは無料でも性能的には十分だけど、金銭的に報われないと作者さんのモチベーションが下がってアップデートされなくなるリスクがあります(;^_^A
作者さんのGitHubページ見ると金銭的には結構きつそう？っぽいので、アップデートを続けてほしければ支援してみると良いかもしれない。
アップデートが止まってもしばらくは使えると思うけど、OSの更新タイミングあたりで不具合が出た場合に使えなくなるリスクがあります。
ko-fiやペイパルでも支援できるみたいなので、価値を感じた方は支援してみると良いかもしれません。
おわりに
手軽にモーションキャプチャーできて良かった。
TDPTよりは要求スペックが低いようなのでこちらのほうが手軽かな？
TDPTもバージョンアップしてかなりパワーアップしてたけど、またいじってみようかな。
また何かあれば追記します(*^_^*)