Nexus-Gen 是团队、华东师范大学等机构推出的开源全能模型，支持同时完成图像理解、生成和编辑任务。Nexus-Gen融合强大的语言模型与扩散模型的能力，基于预填充自回归策略解决传统方法中图像嵌入误差累积的问题。模型在图像质量和编辑能力上达到与 相当的水平，推动全模态模型领域的发展。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
Nexus-baidu09Gen – 魔搭联合华东师范等机构开源的全模态图像生成模型
猜你喜欢
-
发布了文章 3分钟前
OmniSVG – 复旦大学联合 StepFun 推出端到端多模态矢量图形生成模型
OmniSVG 是复旦大学和 StepFun 联合开发的全球首个端到端多模态 SVG（可缩放矢量图形）生成模型。基于预训练视觉语言模型（VLM），通过创新的 SVG 标记化方法，将 SVG 命令和坐标参数化为离散令牌，实现了...
-
发布了文章 6分钟前
OmniSQL – 开源文本到 SQL 模型，自然语言转换为 SQL 查询语句
OmniSQL 是开源的文本到 SQL 模型，将自然语言问题高效转换为 SQL 查询语句。通过创新的数据合成框架生成了首个百万量级的文本到 SQL 数据集 SynSQL-2.5M，包含 250 万条高质量样本，覆盖 16,0...
-
发布了文章 6分钟前
OmniParser – 微软推出的屏幕解析工具，将UI截图转换为结构化数据
OmniParser是微软研究院推出的屏幕解析工具，将用户界面的屏幕截图转换成结构化数据。工具专门设计用在提高基于大型语言模型（如GPT-4V）的UI代理系统的性能，基于准确识别可交互图标和理解截图元素的语义，增强代理执行任...
-
发布了文章 9分钟前
OmniParse – AI数据解析平台，提取和解析任何非结构化数据
OmniParse是数据解析平台，将非结构化数据转换为结构化、可操作的数据，优化适用于GenAI（大型语言模型）应用。OmniParse支持约20种文件类型，包括文档、表格、图像、视频、音频和网页，提供表格提取、图像字幕、音...
-
发布了文章 12分钟前
OmniManip – 智元机器人联合北大推出的通用机器人操作框架
OmniManip 是北京大学与智元机器人联合实验室开发的通用机器人操作框架，通过结合视觉语言模型（VLM）的高层次推理能力和精确的三维操作能力，实现机器人在非结构化环境中的通用操作。...
-
发布了文章 12分钟前
OmniHuman – 字节跳动推出的单张照片生成全身动态视频生成框架
OmniHuman 是字节跳动推出的端到端多模态条件化人类视频生成框架，能基于单张人类图像和运动信号（如音频、视频或两者的组合）生成逼真的人类视频。OmniHuman基于多模态运动条件混合训练策略，克服以往方法因高质量数据稀...
-
发布了文章 14分钟前
OmniGen2 – 智源研究院开源的多模态生成模型
OmniGen2 是北京智源人工智能研究院推出的开源多模态生成模型。能根据文本提示生成高质量图像，支持指令引导的图像编辑，比如修改背景或人物特征等。OmniGen2 采用双组件架构，结合视觉语言模型（VLM）和扩散模型，实现...
-
发布了文章 17分钟前
OmniGen – 统一图像生成的扩散模型，支持多模态输入
OmniGen是用于统一图像生成的新扩散模型，能在单一框架内处理多种图像生成任务，如文本到图像的生成、图像编辑、主题驱动生成和视觉条件生成等。OmniGen涉及传统计算机视觉任务，将任务转化为图像生成任务增强模型的复杂图像生...
全部评论
留言在赶来的路上...
发表评论