Soundwave是香港中文大学(深圳)开源的语音理解大模型,专注于语音与文本的智能对齐和理解。通过创新的对齐适配器和压缩适配器技术,有效解决了语音和文本在表示空间上的差异,实现了高效的语音特征压缩,能更好地处理语音任务。

Soundwave – 港中文深圳开源的语音理解大模型  第1张
(图片来源网络,侵删)
Soundwave – 港中文深圳开源的语音理解大模型  第2张
(图片来源网络,侵删)