バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事はYMM4でクロマキー合成してVRoidの立ち絵を動かしてみたメモです。
クロマキー合成を使うと簡単に透過させられるため、動く立ち絵として使ったりサムネに使ったりできます。
現在、TPSシステム系アセットが50%オフで買える Unityパブリッシャーセール をやってるみたいです(2025/09/12 23:59まで)。
クーポンコード FANTACODESTUDIOS を使うと、↓のロープスイングシステムがタダで貰えます(決済時にクーポンコード入力適用で0円に)。
BOOTHでVRoidテクスチャやVRChat向けオブジェクトなどを販売しています。いいねしてくれると励みになります(*^-^*)
YMM4とは
ゆっくりムービーメーカー4(Yukkuri Movie Maker4)っていう動画作成ソフト。
無料で使えるのにアップデートが頻繁で手軽に動画を作れてすごい。
凝った編集しないならAdobe Premiereとか使わなくてもこれだけで十分なんじゃないかな？(;^_^A
みんなが作りたい動画ってゲーム実況や解説動画とかが多いだろうし、やることと言えば切って貼ってテロップ付けて立ち絵とか合成して…くらいだと思うし。
スタイルや凝り方次第だけど、8割くらいの人々はymm4で十分だと思う と云うかymm4が進化しすぎ
— カステラ (@kasutera_000) April 24, 2024
アップデートの速度も早く、どんどん色々な機能が追加されていますΣ(ﾟДﾟ)
最近はモーショントラッキングとか追加されてすごいです。
個人開発のため、価値を感じたら作者さんに支援してみると良いかも？
しかしこういう作者さんの情熱だけで成り立っているアプリは、作者さんの身に何かあった時に終わってしまうリスクがありますね…。
AviUtlの作者さんも失踪してしまったし(~_~;)
2025/07/08追記：AviUtlは6年ぶりに更新されたみたいでニュースになってましたｗ
FANBOXで支援を募っているので、ガチで使っていくならいくらか支援してみると少しは長くアップデートしてもらえるかもしれません(;^_^A
YMM4は比較的軽め？低スペックのノートPCでも普通に動く
動画編集となると高スペックのPCが必要と言われてるけど、YMM4は比較的軽いのでGPUのないノートPCでも普通に動きますね。
メモリのほうが重要かもしれない。
長い動画を作るのがスペック的にきつい時は、分割して作って後で繋げる方法もあるっぽい。
ザコスペックPCなのでYMM4で動く立ち絵を使うとすげーーーーー重い。3分の動画を3分割して、それを統合するというもっとザコスペックPCだった頃の手法を採用。
— 底辺あんぐ/Kyoko（∵）/只野祐平 (@ANG_UNG_ra) November 9, 2022
これもう新しいんだか古いんだかわかんねえなぁ。
YMM4で編集中の再生もエンコードも何故か特定の箇所で中断されるようになってしまった｡
— ヘチマ味 (@Hetimaaji) September 9, 2021
一度編集を区切った地点だったので､恐らくそこでなんらかのエラーが出るようになったか?
対処法がわからないかったので､力業としてその前後で切ってくっつけて3度に分けてエンコードするという方法で解決した
なんとなく半数くらいの人は、良いPC買っても一本も動画上げずにホコリ被る気がするんだよな…。良いPC買ってもやる気が出るわけではないし(~_~;)
まぁ継続的に動画を上げていくことができて、必要に迫られたら良いPCを買うことを検討すればよいのでは。
ちなみに2万円以下で買った第8世代 i5のノートでも普通に動画作れました。
台本を読み込めば自動でほぼ動画が作れるΣ(ﾟДﾟ)
YMM4はキャラクター設定を作りこんでおけば、キャラごとに文字色や画像などを自動で読み込んでくれるため、台本読み込むだけで自動で動画が作れますΣ(ﾟДﾟ)
これ他の動画編集ソフトってあんまり使ったことないんだけどどうなんだろ？
とりあえずこれだけ使いこなせれば、まとめ動画や解説動画はサクッと作れたけど。
やりたいこと unityでVRoidのモデルを動かして撮影し、YMM4で動く立ち絵として使う
VMagicMirrorとかで合成してもいいけど、事前に撮影して素材化しておくと編集だけに集中できるから良いかなと思い。
mp4でクロマキー合成するか、連番PNGとして動かすのが良いかな。
PNGのほうが透過は綺麗だと思うけど、MP4のほうが手軽で軽いんだよなぁ。
こちらの優秀な先輩のページが参考になりました！
ありがとうございます(*^-^*)
モーションを用意してVRMモデルに読み込み、背景をクロマキー色にして撮影する
モーションはとりあえずMixamoでいいかな…。
好きなモーションをダウンロードしておきましょう。
あとカーネギーメロン大学がモーションを配布してるのでこういうところから持ってくるのも良いかもしれない。
自分でモーション撮りたいならThreeDPoseTrackerとか、最近はAIで姿勢推定の精度も上がってきているから色々サービスが出てますね。
クロマキー背景を用意してVRoidモデルを配置する
クロマキー背景はとりあえず緑じゃなくてもなんでもいいのだが、一応例に倣って緑にしておく。
カラーコードは #00FF00 です。
平面を追加してマテリアルを設定して、モデルの背景にするように回転させておく。
VRoidモデルをインポートしてシーンに配置する。
VRoidモデルをunityにインポートするにはUniVRMが必要です。
カメラの位置を合わせる。
モーションを設定してアニメーションさせる
これでアニメーションさせられる。
そのままだとループに設定できないので、Ctrl+Dを押してアニメーションクリップを複製して、複製したアニメーションクリップを使うとループに設定できます。
撮影する
ScreenToGIFとか使って撮影しても良いけど、今回はunity recorderを使おうかな。
しかしunity recorder、いつの間にか名前が変わってただの Recorder になっていましたΣ(ﾟДﾟ)
「Unity Recorderなくなったの！？」と探している人もいそうだなぁ。
検索するとサジェストに「unity recorder 見つからない」とか出てくるし、実際結構いそう。
unity recorderはunityレジストリにあります
パッケージマネージャーでunityレジストリを開くとあります。
インポート後、unity 2022.3.22だとここにRecorderウィンドウがあります。
こんな感じで撮れます。
撮れたのはこんな感じ。しかしこれだとループしてないので編集します。
もう少しカメラをアップにしたほうが良いかな？とも思うけど、YMM4は動画も拡大できるのでまぁ良いかな。
ScreenToGifで読み込んで編集してループにする
これ簡単に動画も編集できるので便利。
まぁ他のソフトでもできるけど使い慣れてるからこれが一番使いやすい。
こんな感じでループするようにした。
視点と終点の動作を合わせればOK。
モーションごとに口パク差分を作っておくと良いかな？
多少口が不自然にはなるけど、YMM4で読み上げさせる時にアニメーションを口パク用のやつに切り替えるだけでいい。
OvrLipSyncっていうMetaのアセットを使うと口パクさせられます。
2021年以降アップデートされてないのかな？比較的古いアセットだけど、こちらの先輩の記事が参考になりました。
とりあえずVOICEBOXあたりで適当な文章を読ませてエクスポートします。
文章はなんでもいいけど長い方がいいかも。
口の設定はここに載っているけど、これはVRChatのアバターの設定と同じっぽいな…。
VRChatだとVRoidの私のモデルはこんな感じで設定してある。
しかしVRoidのBlendShapeは↓こんな感じで大量に設定されていて、Mouthはかなり下の方にあります(~_~;)
Fcl_ALL_Neutralが0,Fcl_ALL_Funが1って感じで数えていくっぽいので、地道に下まで数えるか…。
Fcl_MTH_A 39
Fcl_MTH_I 40
Fcl_MTH_U 41
Fcl_MTH_E 42
Fcl_MTH_O 43
って感じっぽいので、これを割り当てれば良いかな。
最終的にこんな感じになった。
最後の14は ou みたいな発音っぽいから41のUでもいいかも。
これはあくまでデフォルトの設定で、VRoidStudioで表情編集しているとデフォルトの設定から変わってしまうので注意。
これで録画するとこんな感じで口パクさせられます※音が出ます
しかし口パクだけ取れれば音声はいらないので、またScreenToGifでループするよう編集します。ScreenToGifは音声は出力されないっぽい。
最終的にこんな感じになった。
これに読み上げ音声を合わせれば多少口が合わなくても喋ってる感は出るでしょう。
追記：VRM1.0だとリップシンクが動かなかった
VRM0.0だと普通にリップシンク動いたんですが、VRM1.0だと動きませんでした。
このリップシンクアセットは結構古いやつだからVRM1.0に対応してないのかな？
↓VRM1.0は設定次第でブレンドシェイプが動かなかったりしたので、それが原因かもしれない。
VRoid Studioだとエクスポートする時にVRM0.0かVRM1.0かを選べるので、0.0のほうを選んだほうが無難かもしれない。
VRM1.0は2022年9月に出た比較的新しい規格なので、とりあえずまだVRM0.0で様子見するのも良いと思います。
今使うならuLipSyncのほうが良いかも
OvrLipSyncはアップデートされておらずいつ消えるか分からない感じっぽいので、類似アセットのuLipSyncってやつを使ったほうが良いかもしれません。
こちらのほうが自然に動くような感じ？がします。
YMM4で読み込む
動画アイコンをクリックすると動画を読み込める。
映像エフェクト ⇒ 合成 ⇒ クロマキー を追加して色を指定すると透過させられます。
色はスポイトで吸うと便利。
↓の記事に書いたけど、GIFアニメも動画アイテムとして読み込めました。
縁取りをするとちょっと緑色を誤魔化せるっぽい
緑がちょっと残っちゃってますね。
色範囲を大きくすると消えるけど、表示したいところまで消えてしまうというデメリットがある(-_-;)
縁取りすると結構誤魔化せます。
まぁ許容範囲かな…。私の服はスカートのあたりにめんどくさい模様を描いて透過しているので、かなり透過しにくいというのがある(-_-;)
普通の服ならmp4でも問題ないとは思います。
綺麗さにこだわるなら連番PNGのほうがいいかも
Unity Recorderは連番PNGでも書き出せるので、綺麗さにこだわるならファイルが重くなるのを覚悟で連番PNGにするしかないかも。
↓こんなやつね。
YMM4で連番PNG画像を動画として読み込むには、動画アイコンをクリック、「すべてのファイル」を選んで最初のPNG画像を指定すればOK。
こんな感じで縁取りしなくてもクロマキーだけでかなり良い感じに透過してくれます。
しかしmp4が7秒で3.7MBだったのに対し、連番PNGのほうは3秒ほどで43MBもあった(-_-;)
重くなる覚悟は必要ですね。
でもパターンをそんなに作らないならこれでも別に良いかな？表情や動きの差分をどこまで作るか次第ですが。
ScreenToGifでも連番PNGでエクスポートできるが…
「名前を付けて保存」のファイルタイプでPNGエクスポートがあります。
普通にやると一枚しかエクスポートされないけど、下のフレームにカーソルを持って行ってCtrl+Aで全選択すると全てのフレームをまとめてPNGエクスポートできます。
ScreenToGifに読み込む際に既にフレーム分割されていてエンコードの必要がないので、エクスポートは一瞬ですね。容量は重いですが…。
しかし一度MP4で撮影した動画を連番PNGにしても透過が微妙だったので、やるなら最初からunity recorderの機能で連番PNGにしたほうがいいかも？
ループ調整はやりにくいけど…。
動かしたり拡大したりもできる
動画アイテムの拡大率を大きくすると、画質を維持したまま拡大できるので便利です。
テンプレートに登録しておくと便利
テンプレートに登録しておくと後で同じアイテムが読み出せるのでラク。
/ で区切ってフォルダ分けしておけます。
ここのアイコンから登録したテンプレートが読み出せます。
レイヤー分けしてパーツ分割しないといけないかと思ってたけど、これで普通に使えそうですね。
適当に動画っぽく編集してみる
背景に過去の作業動画を表示させて合成し、適当に動画っぽく編集してみます。
とりあえず読み上げ音声を流すときに口パク動画に切り替えていれば割と違和感はなさそうｗ
ついに私もVTuberデビューか！？Σ(ﾟДﾟ)
しかしずんだもんは汎用性が高いな…割とどんなキャラにも違和感なく使える気がする。
連番PNGでやってみる
やっぱりこっちのほうが透過が自然だからこっちのほうがいいか…。
とりあえず口パクさせてるだけでも割と違和感なく見れるので、これで十分かな。
YMM4は動画の速度調整もできるので、簡単に尺を合わせやすいです。
他に似たようなことやる方法とか
YMM４だとパーツを分割すれば静止画を動かせるっぽいので、そういう手法でも動かせる…というかYMM４で動かすとなるとこちらが普通か(;^_^A
あとはvMagicMirrorっていうアプリを使えばVRMのキャラを画面に合成できるので、とりあえずキャラを表示させて動かしたいだけならこれが手軽かもしれない。
↓こんな感じで動かせられます。キー入力やカーソル移動に応じて動かしたりもできる。
あとXRAnimatorっていうアプリはWebカメラの映像でモーションキャプチャーできて、デフォルトで透過されているから自分の動きとリンクさせられます。
でもこっちはYMM4だけで完結しないので配信向きかな？
動画編集に集中したいなら事前に素材を用意したほうがラクな気がする。
VRMアバターを表示させてリップシンクするだけなら、スマホアプリでカメラから検出できるやつが以前からいくつか出てた気がするので、用途に応じて使っていけば良いと思う。
つづく？
意外と簡単にできたけど、もう少しいじってみたいかなぁ。
しかしYMM4は無料で使えるのに高機能すぎますね。アップデートも頻繁だし…。
まぁ動画を作るならできるだけ労力がかからないように作業をテンプレ化、ルーチン化して、ブログ記事を書くくらいのカジュアルな感覚でやりたいですね。
あまり作業工程が複雑になって面倒になると続かないから、準備の段階で後々のことを考えておいてラクしたいですね(;^_^A
まぁもう少しいじってみます(*^-^*)