Janus是一个由DeepSeek AI推出的自回归框架，旨在统一多模态理解和生成任务。将视觉编码分离成不同的路径解决以往方法的局限性，且用单一的变换器架构进行处理。减轻视觉编码器在理解和生成任务中的角色冲突，提高框架的灵活性。Janus在性能上超越以往的统一模型，在某些情况下超过特定任务模型的性能。Janus的设计支持未来能轻松集成更多类型的输入模态，如点云、EEG信号或音频数据，让Janus成为下一代统一多模态模型的有力候选者。

Janus – DeepSeek推出的自回归框架，统一多模态理解和生成任务 第1张
（图片来源网络，侵删）
Janus – DeepSeek推出的自回归框架，统一多模态理解和生成任务 第2张
（图片来源网络，侵删）