CLaMP 3是清华大学人工智能学院的朱文武教授团队推出的多模态、多语言的音乐信息检索框架。基于对比学习,将乐谱(如ABC符号)、音频(如MERT特征)和表演信号(如MIDI文本格式)与多种语言的文本描述对齐到一个共享的表示空间中。CLaMP 3支持27种语言,能泛化到100种语言,适用于跨模态检索任务,如文本到音乐、图像到音乐检索,零样本音乐分类和音乐语义相似性评估。

(图片来源网络,侵删)

(图片来源网络,侵删)
CLaMP 3是清华大学人工智能学院的朱文武教授团队推出的多模态、多语言的音乐信息检索框架。基于对比学习,将乐谱(如ABC符号)、音频(如MERT特征)和表演信号(如MIDI文本格式)与多种语言的文本描述对齐到一个共享的表示空间中。CLaMP 3支持27种语言,能泛化到100种语言,适用于跨模态检索任务,如文本到音乐、图像到音乐检索,零样本音乐分类和音乐语义相似性评估。
全部评论
留言在赶来的路上...
发表评论