VMB（Visuals Music Bridge）是中国科学院信息工程研究所、中国科学院大学网络空间安全学院、上海人工智能实验室、上海交通大学等机构推出的多模态音乐生成框架，能从文本、图像和视频等多种输入模态生成音乐。VMB基于构建文本桥接和音乐桥接解决数据稀缺、跨模态对齐弱和可控性有限的问题。文本桥接将视觉输入转换为详细的音乐描述，音乐桥接结合广泛和针对性的音乐检索策略，提供用户控制。VMB的显式条件音乐生成框架整合两个桥接，显著提升音乐质量、模态对齐和定制对齐，超越传统方法。

VMB – 中科院联合多所高校机构推出增强多模态音乐生成的框架 第1张
（图片来源网络，侵删）