Meta lance AudioCraft, un générateur de musique AI open source
Une nouvelle façon de faire de la musique avec l’IA.
Le nouveau générateur de musique AI de Meta est le dernier d’une série de produits AI récemment lancés par la société de technologie.
Mercredi, Meta a annoncé la sortie d’AudioCraft, une IA générative open source qui crée de l’audio et de la musique à partir d’invites textuelles. AudioCraft a trois modèles, MusicGen pour composer de la musique, AudioGen pour créer des effets sonores et EnCodec, qui utilise l’IA pour aider à la compression audio qui surpasse le format MP3.
Au cas où vous vous poseriez des questions sur les problèmes de droit d’auteur, MusicGen a été formé sur la musique appartenant à Meta et sous licence.
Meta a poussé de manière agressive à proposer des outils basés sur l’IA aux masses en concurrence avec OpenAI, Google et Microsoft. En juillet, il a publié son open-source Llama 2, la dernière version de son LLM (large language model).
Contrairement au GPT-4 d’OpenAI et au PaLM 2 de Google, Llama 2 est open-source, ce qui gagne des points Meta parmi les développeurs et les éthiciens qui croient en la transparence du développement de l’IA. Il y a aussi des rumeurs selon lesquelles Meta lancerait des « personas » IA alias des chatbots pour Instagram, Facebook et WhatsApp.
AudioCraft a été conçu en pensant aux musiciens et aux concepteurs sonores pour « inspirer, aider les gens à réfléchir rapidement et à itérer sur leurs compositions de nouvelles manières », indique l’annonce.
Les exemples dans l’article de blog incluent des extraits audio de l’invite « Whistling with wind blowing » et « Piste de danse pop avec des mélodies accrocheuses, des percussions tropicales et des rythmes entraînants, parfaits pour la plage », qui… sonnent avec succès comme ces descriptions.
Une grande partie des développements récents de l’IA générative se sont concentrés sur la génération de texte et d’image, qui est un processus plus simple.
Le text-to-audio est une entreprise plus compliquée que Meta semble avoir fissurée. AudioCraft apprend les jetons audio à partir de signaux bruts à l’aide de son codec audio neuronal exclusif EnCodec pour créer un nouveau « vocabulaire » pour le modèle.
Il forme ensuite des modèles de langage sur ce vocabulaire audio afin que le modèle comprenne les associations entre l’audio et le texte. Étant donné qu’AudioCraft est également open-source, le code est disponible sur GitHub pour que les utilisateurs puissent l’explorer et le tester par eux-mêmes.
