Jodi是中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架，基于联合建模图像域和多个标签域，将视觉生成与理解统一起来。Jodi基于线性扩散Transformer和角色切换机制，执行联合生成（同时生成图像和多个标签）、可控生成（基于标签组合生成图像）及图像感知（从图像预测多个标签）三种任务。Jodi用包含20万张高质量图像和7个视觉域标签的Joint-1.6M数据集进行训练。Jodi在生成和理解任务中均表现出色，展现强大的可扩展性和跨领域一致性。
LLaMA-Omni 是中国科学院计算技术研究所和中国科学院大学研究者推出的新型模型架构，用于实现与大型语言模型（LLM）的低延迟、高质量语音交互。通过集成预训练的语音编码器、语音适配器、大型语言模型（LLM）和一个实时语音...
HYPIR（Harnessing Diffusion-Yielded Score Priors for Image Restoration）是中国科学院深圳先进技术研究院数字所董超研究员团队推出的先进的图像复原大模型。利用扩...
FlexRAG 是创新的检索增强生成（RAG）框架，解决传统 RAG 系统在处理长上下文时面临的计算成本高和生成质量不足的问题。通过将检索到的上下文信息压缩成紧凑的嵌入表示，显著降低计算负担。...
全部评论
留言在赶来的路上...
发表评论