UniToken 是新型的自回归生成模型，专为多模态理解与生成任务设计。通过结合离散和连续的视觉表示，构建了一种统一的视觉编码框架，能同时捕捉图像的高级语义和低级细节。使 UniToken 可以无缝支持视觉理解和图像生成任务，为不同任务提供多维度信息。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
UniToken – 复旦联合美团等机构推出的统一视觉编码框架
猜你喜欢
-
发布了文章 1天前
StableAnimator – 复旦联合微软等机构推出的端到端身份一致性视频扩散框架
StableAnimator是复旦大学、微软亚洲研究院、虎牙公司和卡内基梅隆大学共同推出的端到端高质量身份保持视频扩散框架。StableAnimator能根据一张参考图像和一系列姿态，无需任何后处理工具，直接合成高保真度且保...
-
发布了文章 1天前
SocioVerse – 复旦大学联合小红书等机构开源的社会模拟世界模型
SocioVerse（众生） 是复旦大学、上海创智学院、罗切斯特大学和小红书联合推出的社会模拟世界模型。基于大语言模型（LLM）驱动的智能体和包含1000万真实用户的数据池，构建与现实世界“对齐”的大规模社会模拟框架。...
-
发布了文章 1天前
SimpleAR – 复旦大学联合字节 Seed 团队推出的图像生成模型
SimpleAR 是复旦大学视觉与学习实验室和字节 Seed 团队联合推出的纯自回归图像生成模型。采用简洁的自回归架构，通过优化训练和推理过程，实现了高质量的图像生成。SimpleAR 仅用 5 亿参数即可生成 1024×1...
-
发布了文章 2天前
OmniSVG – 复旦大学联合 StepFun 推出端到端多模态矢量图形生成模型
OmniSVG 是复旦大学和 StepFun 联合开发的全球首个端到端多模态 SVG（可缩放矢量图形）生成模型。基于预训练视觉语言模型（VLM），通过创新的 SVG 标记化方法，将 SVG 命令和坐标参数化为离散令牌，实现了...
-
发布了文章 2天前
MVGenMaster – 复旦联合阿里等实验室推出的多视图扩散模型
MVGenMaster是复旦大学、阿里巴巴达摩院和湖潘实验室共同推出的多视图扩散模型，基于增强3D先验处理多样化的新视角合成（NVS）任务。模型基于度量深度和相机姿态扭曲的3D先验，提升NVS的泛化和3D一致性。...
-
发布了文章 3天前
ImBD – 复旦联合华南理工等机构推出的通用 AI 内容检测器
ImBD（Imitate Before Detect）是复旦大学、华南理工大学、武汉大学、Fenzi AI等推出的用在检测机器修订文本的方法。首先模仿大型语言模型（LLMs）生成文本的风格，基于风格偏好优化（SPO）调整评分...
-
发布了文章 3天前
Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架
Hallo3是复旦大学和百度公司联合推出的，基于扩散变换器网络（Diffusion Transformer Networks）的肖像图像动画技术，能生成高度动态和逼真的视频。Hallo3基于预训练的变换器视频生成模型，有效解...
-
发布了文章 4天前
BlockDance – 复旦联合字节推出的扩散模型加速方法
BlockDance 是复旦大学联合字节跳动智能创作团队推出的用在加速扩散模型的新方法。BlockDance 基于识别重用相邻时间步中结构相似的时空特征（STSS），减少冗余计算，提升推理速度，最高加速 50%。...
全部评论
留言在赶来的路上...
发表评论