LeviTor是南京大学、蚂蚁集团、浙江大学等机构推出的图像到视频合成技术，结合深度信息和K-means聚类点控制视频中3D物体的轨迹，无需显式的3D轨迹跟踪。LeviTor用高质量的视频对象分割数据集进行训练，有效捕捉复杂场景中的物体运动和交互，基于用户友好的推理流程简化3D轨迹输入，让视频生成技术更加先进和易用。LeviTor的引入为3D物体轨迹控制铺平道路，拓宽创意应用范围，适用于更广泛的用户群体。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
LeviTor – 南大联合蚂蚁等机构开源的3D目标轨迹控制视频合成技术
猜你喜欢
-
发布了文章 9秒前
MV-baidu09Adapter – 北航联合 VAST 等开源的多视图一致图像生成模型
MV-Adapter是多视图一致图像生成模型，是北京航空航天大学、VAST和上海交通大学的研究团队推出的。MV-Adapter能将预训练的文本到图像扩散模型转化为多视图图像生成器，无需改变原始网络结构或特征空间。...
-
发布了文章 2分钟前
MUMU – 文本和图像驱动的多模态生成模型
MUMU是一种多模态图像生成模型，通过结合文本提示和参考图像来生成目标图像，从而提高生成的准确率和质量。MUMU模型的架构基于SDXL的预训练卷积UNet，采用了视觉语言模型Idefics2的隐藏状态构建。...
-
发布了文章 5分钟前
MTVCrafter – 中科院联合中国电信等机构推出的人像动画生成框架
MTVCrafter是中国科学院深圳先进技术研究院计算机视觉与模式识别实验室、中国电信人工智能研究所等机构推出的新型人类图像动画框架，基于原始3D运动序列进行高质量动画生成。框架基于4D运动标记化（4DMoT）直接对3D运动...
-
发布了文章 8分钟前
MT-baidu09TransformerEngine – 摩尔线程开源的高效训练与推理优化框架
MT-TransformerEngine 是摩尔线程开源的高效训练与推理优化框架，专为 Transformer 模型设计。框架通过算子融合、并行加速等技术，充分基于摩尔线程全功能 GPU 的计算潜力，显著提升训练效率。...
-
发布了文章 10分钟前
MT-baidu09MegatronLM – 摩尔线程开源的混合并行训练框架
MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架，主要用于高效训练大规模语言模型。支持 dense 模型、多模态模型及 MoE（混合专家）模型的训练。框架基于全功能 GPU 支持 FP8...
-
发布了文章 10分钟前
MT-baidu09Color – 上海交大联合哔哩哔哩推出的可控图像着色框架
MT-Color是上海交通大学联合哔哩哔哩推出的基于扩散模型的可控图像着色框架，基于用户提供的实例感知文本和掩码实现精确的实例级图像着色。框架基于像素级掩码注意力机制防止色彩溢出，用实例掩码和文本引导模块解决色彩绑定错误问题...
-
发布了文章 14分钟前
MSQA – 大规模多模态3D情境推理数据集
MSQA（Multi-modal Situated Question Answering）是大规模多模态情境推理数据集，提升具身AI代理在3D场景中的理解与推理能力。数据集包含251K个问答对，覆盖9个问题类别，基于3D场景...
-
发布了文章 14分钟前
MOSS-baidu09TTSD – 清华实验室开源的口语对话语音生成模型
MOSS-TTSD（Text to Spoken Dialogue）是开源的口语对话语音生成模型，由清华大学语音与语言实验室（Tencent AI Lab）开发。能将文本对话脚本转化为自然流畅、富有表现力的对话语音，支持中英...
全部评论
留言在赶来的路上...
发表评论