バーチャル3Dクリエイター神部まゆみです(*^-^*)
この記事はLuma AIのDream Machineとかいう動画生成サービスを使ってみたので、それについての記事です。
Dream Machineっていうのは↓これね。
Dream Machineとは？
せっかくなのでGoogleの優秀なGemini先輩に聞いてみます。
Luma AI Dream Machineとは？
Luma AI Dream Machineは、2024年6月12日にLuma AI社がリリースした、テキストや画像から高品質な動画を生成できるAIサービスです。従来の動画制作では、撮影や編集に多くの時間と労力が必要でしたが、Dream Machineを使えば、アイデアを記述するだけで5秒間の動画を簡単に作成することができます。
Dream Machineの特徴
- 無料プランで月30本まで動画生成可能
- 高品質なリアルな動画を生成
- 物理的に正確で一貫性のある動画を生成
- 多彩なジャンルの動画に対応
- テキストでの詳細な指示が可能
- 画像からの動画生成にも対応
- AWSとNVIDIA最新GPUで高速トレーニングされたマルチモーダルTransformerモデルを採用
- 無料プラン
- 月30本まで動画生成可能
- 動画の長さ5秒まで
- 解像度720p
- 透かし入
- 有料プラン
- 月額$15から
- 動画の長さ10秒まで
- 解像度1080p
- 透かしなし
- 商用利用可
Dream Machineの活用例
- ソーシャルメディア用の動画
- 商品紹介動画
- 教育用動画
- プレゼンテーション用動画
- プロトタイプの作成
- フィクション作品の作成
Dream Machineに関する注意点
- 生成される動画は著作権フリーではありません。
- 暴力や性的表現を含む動画は生成できません。
- 倫理的に問題のある動画は生成できません。
Dream Machineは、動画制作を効率化したい方や、新しい動画制作方法を探している方におすすめのサービスです。
一言で言えば「カンタンに動画が生成できてスゴイ」ということ。
これを使えば誰でも動画を作れるようになるに違いない。凄い時代になったもんだ…Σ(ﾟДﾟ)
プランの詳細 Standardプラン以上じゃないと商用利用はできないっぽい
↓がプランの詳細ですが、FreeとLiteプランだと商用利用ができないっぽいです。
え…まじか。じゃあ広告貼ってるブログとか、収益化してるSNSアカウントだとちょっと紹介しにくいのかも…？
多分そこまでうるさくは言ってこないとは思うけれども(;^_^A
まぁちょこっと紹介するだけなのでFreeプランでいじってみます。
さっそくサインアップしてみる
公式サイトの向かって右上の「Try Now」を押す。
Googleアカウントでサインアップします。
Googleでログインしたらもうこの画面になったので、ここにプロンプトを打ち込めば生成できるっぽいです。
アクセス集中？のため1日5生成に制限されてるっぽい
今このサービスは話題になっていてアクセスが集中しているからか1日5生成？に制限されてるっぽい。
Due to high demand, we are temporarily limiting free tiers to 5 generations/day. Paid tiers have priority in the queue and no daily limit.
需要が高いため、無料利用枠を一時的に 1 日あたり 5 世代に制限しています。有料レベルはキュー内で優先され、1 日あたりの制限はありません。
2024/10/21追記： 制限はなくなったみたい？
久々にアクセスしてみたら特に制限は書いていなかったな…。
なんかプロンプトでカメラの動きや位置？が指定できるようになったみたいです。
この記事を書いた当時は「Dream Machineスゴイ！」と騒がれていたのだが、その後ハイテク企業各社がどんどん動画生成AIを出してきたから埋もれてしまったのかな…？
AI開発は流れが早すぎて、ちょっと待っているだけでどんどん性能のいいこなれたものが出てくるから、焦って使わなくてもいいかな…(;^_^A
まぁある程度趨勢を見極めてからでも遅くないような気がする。
追記終わり。
さっそく画像から動画を作ってみる
正直なところ、テキストプロンプトで動画を生成するのはあんまり興味ないんですよね…。
学習データとほぼ同じ画像や動画が出力されたら困るし…(-_-;)
画像からも動画生成できるみたいなので、私のモデルの画像を使って動画を生成してみます。
VRoidStudioで適当に画像を撮影したので↓これを使います。
関係ないけど↓このアニメーションいつの間に追加されたんだろう、かわいすぎるでござるぞｗ(;ﾟ∀ﾟ)=3ﾊｧﾊｧ
↓の画像アイコンをクリックして、動画化したい画像を選べばOK。
すんごい時間かかるっぽい？(-_-;)
夜にやったからか？需要過多なのかめっちゃ時間かかりますね…。
…30分くらいかかってようやく生成できたっぽいです！
あまりに遅いからもう一個やってしまったけどそこはまだだな…。
生成されたのが↓コレですが……プロンプト指定しなかったからか？なんか別人になっているΣ(ﾟДﾟ)誰だこれは…。
なんか変身シーンみたいにも見えるな…。AIはなんかこういうメタモルフォーゼっぽいことをしがちな気がするｗ
…もう一つは画像に dance という一語だけのプロンプトを入れたのだが…んー？(-_-;)
ちなみにこれは一時間くらいかかりましたΣ(ﾟДﾟ)やはり混んでるのかな…？
うーんここまでやっておいてなんだけども、VRoidは３Dだからモーションキャプチャーで動かせってことかな？(~_~;)
↓既にこれで完成されているし。
いやしかし何かコツがあるに違いない。
先輩たちの事例を調べてみよう。
先輩たちの事例を調べる
Xで検索して優秀な先輩たちの作例を見てみます。
↓この先輩のは割とキャラクターを認識して動いてるっぽいな…ちゃんと背景があったほうがいいのかな？
この先輩のはもはや最初の画像関係ないな…(笑)。
学習元データに近い画像がないと、適当に別の学習データから合成して遷移させているとか？
なんか品質が安定しないっぽいな…何度もガチャやるしかないのかな？
やはり背景があったほうが良さそう？人によってクオリティが全く異なるのが面白い。
リアル系だと学習データが多いからなのか破綻が少ないのかな…？
んーAIだからって何でもすぐ簡単に動かせるわけではないかも？ちょっと特性を理解してやったほうが良さげ。
背景を追加してやってみる
背景が一色だと認識しにくいのかな？と思い背景を追加してみます。
以前作ったこの画像なら背景あるし行けるか…？
お、最初よりはマシかな？
更に背景を付けてみます。
※使用背景：グロスター大聖堂のステンドグラスと日差しの無料写真素材 – ID.2589｜ぱくたそ (pakutaso.com)
ああ…今度はちゃんと動きはしたけど、絵柄が変わってしまった(~_~;)
動画生成AIは他にも結構あるから、イメージに近いサービスを使っていくしかないかな？
Dream Machineはアニメ系の絵柄が苦手ってだけかもしれない。
プロンプトを追加してみる
画像にプロンプトを追加してみます。
a girl is dancing
うう～む最初は良いのだが、やはり別の人にメタモルフォーゼさせたいらしい(;^_^A
まぁVRoidは３Dなのだから、大人しく配布モーションをさがしたり、自分でモーションキャプチャーしたほうがいいかな…ｗ
実写系なら精度高そう
実写系のほうが学習データが多くて行けるのでは…？と思い例のフリー素材の人の画像を使ってみたｗ
これはかなりの精度で動いていますぞ！スゴイΣ(ﾟДﾟ)
一応テキストプロンプトもやってみる
A girl is dancing against the backdrop of a meadow(草原を背景に踊る少女)
なんかめっちゃぎこちないけどスゴイΣ(ﾟДﾟ)
これそのままbingの翻訳に入れてやってみたのだけど、恐らく against が「反対する」とかって意味っぽい？から嫌がっている感じで生成されたのかもしれない。
もっと生成してみようかと思ったけど、一日5回制限のはずが2回やると制限に引っかかるようになったのでこのあたりで辞めておきます…。
おわりに
使い方次第だろうけど、やりようによってはかなりの精度で動画が作れてビックリしました！
AIの進化は早いので1年後2年後とかはもっと凄いことになってそうですね…。
動画生成系のAIは既にいくつか出ているので、作りたい動画によって使い分けていくと良いかな？
他にも色々探していじってみたいと思います(*^-^*)