Valley是字节跳动推出的多模态大模型，用于处理涉及文本、图像和视频数据的多样化任务。Valley在内部电子商务和短视频基准测试中取得了最佳成绩，并在OpenCompass测试中展现出色性能，尤其是在小于10B参数规模的模型中排名第二。Valley-Eagle版本基于引入VisionEncoder增强模型在极端场景下的性能，能灵活调整令牌数量，并与原始视觉令牌并行处理。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
Valley – 字节跳动推出的多模态大模型
猜你喜欢
-
发布了文章 14小时前
XVerse – 字节跳动推出的多主体控制图像生成模型
XVerse是字节跳动智能创作团队推出的新型多主体控制图像生成模型。模型在文本到图像生成领域实现对多个主体身份和语义属性（如姿势、风格、光照）的精细控制，同时保持生成图像的高质量和一致性。...
-
发布了文章 18小时前
VeOmni – 字节跳动开源的全模态PyTorch原生训练框架
VeOmni 是字节跳动 Seed 团队开源的全模态分布式训练框架，基于 PyTorch 设计。VeOmni 以模型为中心，将分布式并行逻辑与模型计算解耦，支持灵活组合多种并行策略（如 FSDP、SP、EP），能高效扩展至超...
-
发布了文章 23小时前
SuperEdit – 字节跳动等机构推出的图像编辑方法
SuperEdit是字节跳动智能创作团队和佛罗里达中央大学计算机视觉研究中心联合推出的指令引导图像编辑方法，基于优化监督信号提高图像编辑的精度和效果。SuperEdit基于纠正编辑指令，与原始图像和编辑图像对更准确地对齐，引...
-
发布了文章 1天前
SeedVR2 – 字节跳动推出的视频修复模型
SeedVR2是字节跳动推出的新型单步视频修复（Video Restoration, VR）模型，基于扩散模型和对抗性后训练（Adversarial Post-Training, APT）技术。模型基于自适应窗口注意力机制和...
-
发布了文章 1天前
Sa2VA – 字节跳动等机构开源的多模态大语言模型
Sa2VA是字节跳动联合加州大学默塞德分校、武汉大学和北京大学共同推出的多模态大语言模型，是SAM2和LLaVA结合而成，能实现对图像和视频的密集、细粒度理解。Sa2VA基于统一的任务表示，将图像或视频指代分割、视觉对话、视...
-
发布了文章 2天前
Phantom – 字节跳动推出的主体一致视频生成框架
Phantom是字节跳动智能创作团队推出的用在主体一致视频生成（Subject-to-Video, S2V）的框架。基于跨模态对齐技术，结合文本和图像提示，从参考图像中提取主体元素并生成与文本描述一致的视频内容。...
-
发布了文章 2天前
PersonaTalk – 字节跳动推出的实现高保真和个性化视觉配音框架
PersonaTalk是字节跳动推出的基于注意力机制的两阶段框架，用在实现高保真度和个性化的视觉配音。PersonaTalk能在合成与目标音频精准唇形同步的视频的同时，保留说话者的独特说话风格和面部细节。...
-
发布了文章 2天前
Loopy – 字节跳动推出的音频驱动的AI视频生成模型
Loopy是字节跳动推出的音频驱动的AI视频生成模型，用户可以让一张静态照片动起来，照片中的人物根据给定的音频文件进行面部表情和头部动作的同步，生成逼真的动态视频。Loopy基于先进的扩散模型技术，无需额外的空间信号或条件，...
全部评论
留言在赶来的路上...
发表评论