InspireMusic 是阿里巴巴通义实验室开源的技术,通过人工智能为用户生成高质量的音乐作品。基于多模态大模型技术,支持通过简单的文字描述或音频提示快速生成多种风格的音乐。InspireMusic 的核心架构包括音频 tokenizer、自回归 Transformer 模型、扩散模型(CFM)和 Vocoder,能实现文本生成音乐、音乐续写等功能。

InspireMusic – 阿里通义实验室开源的音乐生成技术  第1张
(图片来源网络,侵删)
InspireMusic – 阿里通义实验室开源的音乐生成技术  第2张
(图片来源网络,侵删)