OmniSearch是阿里巴巴通义实验室推出的多模态检索增强生成框架，具备自适应规划能力。OmniSearch能动态拆解复杂问题，根据检索结果和问题情境调整检索策略，模拟人类解决复杂问题的行为，提升检索效率和准确性。OmniSearch引入动态检索规划框架，基于递归检索与推理流程，逐步接近问题解答，显著提高多模态检索的灵活性和效果。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
OmniSearch – 阿里通义推出的多模态检索增强生成框架
猜你喜欢
-
发布了文章 5小时前
OmniAudio – 阿里通义推出的空间音频生成模型
OmniAudio 是阿里巴巴通义实验室语音团队推出的从360°视频生成空间音频（FOA）的技术。为虚拟现实和沉浸式娱乐提供更真实的音频体验。通过构建大规模数据集Sphere360，包含超过10.3万个视频片段，涵盖288种...
-
发布了文章 12小时前
MaskSearch – 阿里通义推出的检索增强预训练框架
MaskSearch是阿里巴巴通义实验室推出的新型通用预训练框架，提升大型语言模型（LLM）的智能体搜索能力。通过检索增强掩码预测（RAMP）任务，让模型在输入文本中对关键信息掩码。...
-
发布了文章 19小时前
LLMDet – 阿里通义联合中山大学等机构推出的开放词汇目标检测模型
LLMDet是阿里巴巴集团通义实验室、中山大学计算机科学与工程学院、鹏城实验室等机构推出的开放词汇目标检测器，基于与大型语言模型（LLM）协同训练提升目标检测性能。LLMDet能收集包含图像、定位标签和详细图像级描述的数据集...
-
发布了文章 19小时前
LHM – 阿里通义开源的单图生成可动画3D人体模型
LHM（Large Animatable Human Reconstruction Model）是阿里巴巴通义实验室推出的从单张图像重建可动画化3D人体模型。基于多模态Transformer架构，融合3D几何特征和2D图像特...
-
发布了文章 24小时前
HumanOmniV2 – 阿里通义开源的多模态推理模型
HumanOmniV2 是阿里通义实验室开源的多模态推理模型。模型基于强制上下文总结机制、大模型驱动的多维度奖励体系及基于 GRPO 的优化训练方法，解决多模态推理中全局上下文理解不足和推理路径简单的问题。...
-
发布了文章 24小时前
HumanOmni – 阿里通义等推出专注人类中心场景的多模态大模型
HumanOmni 是专注于人类中心场景的多模态大模型，视觉和听觉模态融合而成。通过处理视频、音频或两者的结合输入，能全面理解人类行为、情感和交互。模型基于超过240万视频片段和1400万条指令进行预训练，采用动态权重调整机...
-
发布了文章 2天前
DiffuEraser – 阿里通义实验室推出的视频修复模型
DiffuEraser是基于稳定扩散模型的视频修复模型，以更丰富的细节和更连贯的结构填充视频中的遮罩区域。模型通过结合先验信息来提供初始化和弱条件，有助于减少噪声伪影和抑制幻觉。为了在长序列推理期间提高时间一致性，Diffu...
-
发布了文章 2天前
ChatAnyone – 阿里通义推出的实时风格化肖像视频生成框架
ChatAnyone是阿里巴巴通义实验室推出的实时风格化肖像视频生成框架。通过音频输入，生成具有丰富表情和上半身动作的肖像视频。采用高效分层运动扩散模型和混合控制融合生成模型，能实现高保真度和自然度的视频生成，支持实时交互，...
全部评论
留言在赶来的路上...
发表评论