AIテクノロジー

最強レベルの動画生成AI登場 Lumiere の衝撃

Lumiere
フルタニ

こんにちは、フルタニです。放送局で番組作りをしてました。 Lumiere を書きます。

動画制作に欠かせない画像生成AIの世界。今ここに新たな動画生成技術が参入しました。

簡単なテキストや画像から高品質な動画を生成することができるGoogleの「Lumiere」（リュミエール）です。

動画制作の現場に革新的な変革をもたらす可能性を持つAI技術を紹介します。

Contents
  1. Lumiere の衝撃
  2. まとめ

Lumiere の衝撃

「言葉も出ないレベル」

「動画業界の未来が変わります」

動画制作関連の世界でかなりの衝撃が走りました。

いったい何が起きたのでしょうか。

Lumiere とは

米国時間1月23日Googleが開発した「Lumiere」（リュミエール）は以下のリンクから確認することができます。

Lumiere

私たちが実際に利用することはまだできませんが、利用できるようになったら世界が変わります。

Lumiereの特徴は、従来の動画生成ツールと比較して、よりリアルで自然な動画を作成できることです。

キーワードは動画の一貫性と高品質。

これまでの動画生成では、一枚ごと画像が生成されることから、動画にするとカットごとの違いが邪魔して、見た目が微妙に違うものにならざるを得ませんでした。

Lumiereでは高品質な動画をつくるというコンセプトが徹底されました。

その結果以下の六つの方法で直接動画を生成することができるようになりました。

  • テキストからビデオ生成（Text-to-Video）
  • 画像からビデオ生成（Image-to-Video）
  • 一貫性ある動画生成（Stylized Generation）
  • 元の動画の見え方を変える（Video Stylization）
  • 特定部分の編集（Video Inpainting）
  • 静止画に動きを加える（Cinemagraphs）

AIにテキストで作りたい動画を指示したり、アップロードした参照画像をもとにAIにさせる方法は従来の画像生成AIでも使われたありふれたものです。

以上の基本的な機能に加え、Lumiereでは次の機能が加わりました。

Stylized Generationはアップした画像をもとに、その画像の持つ質感をもとにした動画を生成してくれるものです。

例えば、ジブリ風の画像を読み込ませることで用意した静止画をジブリ風の動画として生成することができるような機能です。

Video Stylizationも元の素材を別のテイストの動画に作り替える機能です。

例えば、動く被写体を指定し、作りたいティストを支持することで動きはそのままで見た目だけ変えることができます。

Stylized GenerationとVideo Stylizationの二つの機能を駆使することで一貫性のある動画を作ることができるようになりました。

画像の一部分だけ加工する技術がVideo InpaintingとCinemagraphsです。

Video Inpaintingは動画の一部をAIが生成してくれる機能です。

例えば動画の一部分を黒塗りし、黒塗りした部分を生成動画で補うことができます。また、モデルの服装だけを自由に変えたりすることができます。

Cinemagraphsは静止画の一部だけ動かすことができる機能です。

例えば静止画の人物の目や口などを指定することで瞬きして喋る動画を簡単に作ることができます。

参照情報

まとめ

「写真の一部を動画化」「動画の一部分を指定して加工」など「フレーム同士のつながりが自然」な動画生成AIはこれまで誰もが待ち望んでいた技術でした。

Lumiereの登場は、動画制作や広告・アート関連の制作現場の支援や効率化、新たなサービスの開発などに大きな影響を与えることが予想されます。

新しい技術の登場は先行者総取りのチャンスでもあります。

ちょっとしたヒントでブルーオーシャンの世界が見つかるかもしれません。