AudioCraft（オーディオクラフト）はmeta社が提供をはじめたAI音楽生成サービスです。
AudioCraft: A simple one-stop shop for audio modeling
AudioCraft は MusicGen, AudioGen, and EnCodec.という三つのモデルから構成されています。
この特徴はBGMなどの音楽生成だけでなく、雑踏や足音、人の笑い声などのような効果音も生成できるという点。
つまり、動画で使われている音素材がテキストを打ち込むだけで作れてしまうのです。
Stable Diffusionの音楽版といっいも間違いありません。
AudioCraftのインストール方法
GitHub
AudioCraft（オーディオクラフト）は正直初心者にはややハードルが高いサービスですが、上記のサイトから入手できます。
メタ社は世界中で作曲AIの開発が促進されることを期待して、広く技術を公開するオープンソース化により提供されたサービスとして位置づけています。
そのためユーザーは誰でもAudioCraftをインストールできますが、メタ社は「音楽関係者」や「研究者」に利用を推奨しています。
AudioCraftはを構成する3つのモデルの役割は次の通りです。
- AudioGen：テキストから効果音などを作り出す
- MusicGen：テキストから音楽を作り出す
- EnCodec：ノイズが削減した音声圧縮デコーダー
音楽を生成するためにはGoogle Colab(コラボレトリー)を使う方法や、直接PCにインストールして使うなど手間がかかる上、下記のような環境を用意する必要があります。
- Python 3.9
- PyTorch 2.0.0
- GPU 16GB
- FFmpeg
このあたりは、画像生成で有名なStable Diffusionの導入に慣れている人なら使いこなすことができると思いますが、完全な初心者にはまたせハードルが高いです（SeaArtなどのサービスの登場を期待したいですね）。
テキストから音楽を生成できるAudioCraftのインストール
テキストから音楽を生成できるAudiocraftのインストール | ジコログ
PythonやFFmpegなどのツールのインストール方法を個別に解説した記事です。GPU版PyTorchにudiocraftをインストールする手順が解説されています。
AI音楽・サウンド生成「AudioCraft」が凄い！Google Colabでの使い方を解説
PCやGPUに余裕のない人は、全てネット上で音楽を生成できるHugging Faceからの利用がお勧めです。
ほぼテク8月5日最新情報アップデート！Metaの生成AI「AudioCraft」とGPTのコラボレーション？ — GROWTH JAPAN TECHNOLOGIES
こちらは、Audio CraftをGoogle Colab(コラボレトリー)で動かして自由にサウンド素材を生成する方法を解説したチュートリアル動画です。
完全無料のテキストから音楽生成ソフトウェア、AudioCraftでAI音楽生成。誰でも作曲家になれる！
インストール方法の変更で最大720秒までの音楽が生成できる方法を動画で解説しています。
このほかの音楽生成ツール
音楽生成ツールのサービスは始まったばかり。初心者が気楽に手を出せるサービスはほかにもあります。
例えばMusicLM。Google が開発中の音楽生成AIサービスです。
こちらはテキストで入力するのではなく、自分の鼻歌をAIに聞かせることで楽器を使った演奏に変えてしまうキワモノつーるです。
まとめ
AudioCraft(オーディオクラフト)は既存の曲をお手本にして、新しい曲を作ることもできる音楽生成ツールです。
利用するにはGoogle Colab(コラボレトリー)を使う方法や、直接PCにインストールして使うなど様々でが、手間がかかる上、下記のような環境を用意する必要があります。
時間と興味のある人は試してみてはいかがでしょうか。
- 著作権的にはセーフなの?
- meta社によると、専用のオリジナル曲や、特別にライセンスを取得した曲2万時間分をオーディオクラフトのAIに学習させたといいます。
こんにちは、フルタニです。放送局で番組作りをしてました。 AudioCraft を書きます。