ChatMusician是由Multimodal Art Projection Research Community、Skywork AI和香港科技大学的研究人员推出的,一个开源的用于理解和的大型语言模型。该模型基于 LLaMA2 模型持续预训练和微调开发,使用 ABC 记谱法(一种与文本兼容的音乐表示法)来处理音乐,将音乐视为一种语言。ChatMusician的独特之处在于它能够在不依赖外部多模态神经结构或分词器的情况下,仅使用纯文本分词器来理解和创作音乐。

ChatMusician – 可理解和生成音乐的大模型  第1张
(图片来源网络,侵删)
ChatMusician – 可理解和生成音乐的大模型  第2张
(图片来源网络,侵删)