画像生成AIの次にくるのが動画生成AIです。
少し前までは「使い物にならない」と感じるようなレベルでした。しかし進歩のスピードが想像以上に速く、できたアニメーションも見違えるようなものになったのが驚きでした。
そんな制約を打ち破ったのが画像生成AIが登場しました。
数枚の原画をもとにパラパラアニメのようにGIF動画をつくってしまうAIツールです。
使うのは「Stable Diffusion web UI v1.6.0」および動画生成機能「AnimateDiff」。
これだけで数秒の動画を無料で作ることができます。その使い方を紹介します。
AnimateDiffの機能を追加する
Stable Diffusion Web UIに【AnimateDiff】の機能を追加する手順をご案内します。
AnimateDiffを行うには、VRAM12GB以上必要です。
Stable Diffusion Web UIの起動
Stable Diffusion Web UIを起動します。
Stable Diffusion Web UIの起動方法がわからない人は、別記事にまとめましたので参考にしてください。
準備が終わったらStable Diffusion Web UIを起動します。
続いて【AnimateDiff】をダウンロードして機能を追加します。
【AnimateDiff】の機能の追加
Stable Diffusion Web UIの画面上部の右側にある「Extensions」を開き、「Install from URL」をクリックします。
以下のリンクを開きます。
右側にある「Code」のボタンをクリックします。
インストール先のURLは開いた画面の「HTTPS」の項目にあります。
このURLをコピーします。
Stable Diffusion Web UIに戻り、コピーした【AnimateDiff】URLを「URL for extension’s git repository」内にペーストし「Install」ボタンを押します。
Install」ボタンの下に「Installed info….」が表示されたらOKです。
AnimateDiffの機能がStable Diffusion Web UIに追加されます。
Stable Diffusion Web UIの画面上の「Settings」タブをクリックし、「Reload UI」を押すとStable Diffusion Web UIが再起動します。
再起動後、画面最下部に「AnimateDiff」が追加されていることを確認します。
再起動しなかった場合は、Google Colab内に戻ってから再度「gradio.live」と書かれたリンクをクリックしてから起動させます。
これでStable Diffusion Web UIにイラストから動画を生成するAnimateDiffの機能が追加されました。
モーションモジュールのダウンロード
アニメーションの動きの大きさや仕上がりを変えるために必要になるのがAnimateDiffのモーションモジュールです。
【Hugging Face】AnimateDiffのモーションモジュール
上記からモーションモジュールをダウンロードします。
必要となるファイルは[mm_sd_v14.ckpt][mm_sd_v15.ckpt][mm_sd_v15_v2.ckpt]の三つです。
おすすめのモジュールは「mm_sd_v14.ckpt」です。
ダウンロードしたファイルは[stable-diffusion-webui][extensions][sd-webui-animatediff][model]に格納します。
stable-diffusion-webuiを再起動します。これで設定完了です。
AnimateDiffの使い方
使い方はシンプルです。モデルを選択して、生成したいイメージをプロンプトにして入力すると、AIが画像に動きを与えてくれます。
プロンプトは英語を推奨します。
調整に使うパラメーターも少ないのでそれほど手間がかかりません。
- Motion module
- Enable AnimateDiff
- Number of framers
- Frames per second（FPS）
- Display loop number
まず、[Motion module]から、モデルを選択します。
AnimateDiffを使うには[Enable Animate]にチェックを入れます。
[Number of framers]動画を生成するために使用する元絵の枚数です。 [Frames per second（FPS）]１秒に何枚の画像を使用するのかを決めます。多すぎると動画が破綻するので、16以下がおすすめです。 [Display loop number]生成した動画をどのくらいループするのかを決めます。初心者は０を選択。すると出来上がった動画が無限ループします。チュートリアル動画・プロンプトの例
｢AnimateDiff｣によるアニメーションの生成【Stable Diffusion web UI】
まとめ
でき上がった動画は、完璧なものではありませんが、自分のブログなどのアイキャッチなどとして気楽に使うことができます。
興味のある人は試してみてはいかがでしょうか。
こんにちは、フルタニです。放送局で番組作りをしてました。 AnimateDiff を書きます。