Spirit LM是由Meta AI团队推出的一种多模态语言模型，能无缝地混合文本和语音数据。Spirit LM基于一个预训练的文本语言模型，用持续在文本和语音单元上的训练扩展到语音模态。模型有两个版本：基础版（BASE）和表达版（EXPRESSIVE）。基础版用语音语义单元，除表达版除语义单元外，还用音高和风格单元模拟语音的表达性。Spirit LM在训练时将语音和文本序列连接为单一的标记集，基于词级交错方法。能生成具有文本模型语义能力的文本，和生成具有语音模型表达能力的语音，Spirit LM能在少量样本的情况下跨模态学习新任务，如自动语音识别（ASR）、文本到语音（TTS）和语音分类。

Spirit LM – Meta推出多模态语言模型，无缝集成语音和文本 第1张
（图片来源网络，侵删）
Spirit LM – Meta推出多模态语言模型，无缝集成语音和文本 第2张
（图片来源网络，侵删）