AIテクノロジー

iPhoneで簡単にドローン撮影のような空間紹介映像を作る Luma Flythroughs の衝撃

フルタニ

こんにちは、フルタニです。放送局で番組作りをしてました。 Luma Flythroughs を書きます。

手持ちで撮影した動画をドローンやスタビライザーで撮影したかのようなブレの無い動画にしたいと思いませんか。

そんなことを可能にするiPhoneアプリが登場しました。

このアプリを使えばこんな動画を作ることができます。

こんなことを可能にしたのが「NeRF（ナーフ）」と呼ばれるディープラーニングを使った画像生成技術です。

ドローンを使うことなしにぬるっとした動画が作れるLumaLabsAIの新しいアプリ「Luma Flythroughs」を紹介します。

Luma Flythroughsとは

「Luma Flythroughs」はiPhoneで1方向に直進して行くだけでスタビライザーで撮ったような映画的な動画ができるアプリです。

作ったのは別記事で、iPad用編集ソフトとして紹介したLuma 社です。

ipad編集ソフト
関連記事iPad動画編集はキツイ その悩みを LumaFusion が解決

リリースと同時に動画界隈に衝撃が走りました。

威力を発揮するのが室内の動画です。AIが画面に映った建築物の構造を解析し立体的な画像を生成してくれます。

使うのはiPhoneとインストールされたアプリだけ。移動中のカメラの揺れはAIにより補正されることでジンバルで撮影したような滑らかな画像になります。

屋外で撮影した映像では、通行人をAIが認識自動削除することで、建築物だけの動画に仕上がります。

撮影済みの動画もアップロードすることでAIが画像生成してくれます。

身近な景色も設定次第でゲームの背景のような世界観を持つ動画にすることができるので、クリエイター界隈から関心が集まります。

Luma Flythroughsのメリットは

被写体の周りを歩きながら撮影するだけで3D映像が作れることです。

Luma Flythroughs

これまでこうした映像の撮影には、グリーンバックの部屋で数十台のカメラを使い360度の全方位から撮影する「ボリュメトリックキャプチャ」という技術で作られていました。

最近になって「NeRF（ナーフ）」と呼ばれるディープラーニングを使った画像生成技術が開発され、複数アングルから撮影した2D画像を深層学習を活用して好きな方向から自由に閲覧できる3D画像にすることができるようになりました。

Luma Flythroughsの特徴は「NeRF」をコンパクトなアプリに閉じ込めたことです。これによりiPhoneがあれば誰でも使えるようになりました。

アプリを使って撮影すると、撮影された画像がいったん3Dとして認識されます。

そのデータをもとにAIがオリジナルに似せた画像を新たに生成して動画にします。

360度ぐるっと撮る必要はなく、ドローンのように見た目を意識して撮るとAIはより忠実に画像を生成するため、出来上がった動画はブレの無い動画に仕上がります。

メリットをまとめると

  • 映像にしたい対象の周りを歩くだけで3D映像が作れる。
  • 上下動が激しい素材映像でも、ブレの無いドローンのような安定した動画が自動生成できる。
  • 撮影中、画面に映り込んだ人物は自動的に消され、ガラスの反射や透過も補完されるので、破綻のないゲームの背景のような世界観に似た動画が作れる

デメリットは

iPhoneのカメラに特化したアプリであること。なのでパソコンからは使えません。

人の集まる場所や暗所での撮影は苦手なようです。

最大のハードルはコスト。

1作品ごと書き出しで1,500円ほど課金されるので、簡単にダウンロードするわけにはいきません。

なので、用途は不動産の物件内覧用とか、公演が終わると即解体されるような貴重な空間の記録などに限られそうです。

まとめ

スタビライザーで撮ったような映画的な動画ができるiPhoneアプリが登場しました。

撮影した画像はいったん3Dとして認識され、そのデータをもとにAIがオリジナルに似せた画像を新たに生成して動画にしてくれるというもの。

上下動が激しい素材映像でも、ブレの無いドローンのような疾走感ある動画にしてくれます。

興味のある人は試してみてはいかがでしょうか。