KeySync 是帝国理工学院和弗罗茨瓦夫大学推出的用在高分辨率口型同步框架，支持将输入音频与视频中的口型动作对齐。KeySync 基于两阶段框架实现，首先生成关键帧捕捉音频的关键唇部动作，基于插值生成平滑的过渡帧。KeySync 引入新的掩码策略，有效减少输入视频的表情泄露，用视频分割模型自动处理遮挡问题。KeySync 在视觉质量、时间连贯性和唇部同步准确性方面均优于现有方法，适用于自动配音等实际应用。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
KeySync – 帝国理工联合弗罗茨瓦夫大学推出的口型同步框架
猜你喜欢
-
发布了文章 2分钟前
Lobe Vidol – AI数字人交互平台，可与虚拟人和 3D 模型聊天互动
Lobe Vidol是开源的数字人创作平台，让每个人都能轻松创建和互动自己的虚拟偶像。Lobe Vidol提供流畅的对话体验、背景设置、动作姿势库、优雅的用户界面、角色编辑、MMD舞蹈支持、PMX舞台加载、触摸响应功能及角色...
-
发布了文章 2分钟前
Llasa TTS – 香港科技大学开源的文本转语音模型
Llasa TTS 是香港科技大学基于 LLaMA 架构推出的开源文本转语音（TTS）模型，支持高质量语音合成和克隆。Llasa TTS 基于单层向量量化（VQ）编解码器和单个 Transformer 架构，与标准 LLaM...
-
发布了文章 5分钟前
LlamaV-baidu09o1 – 多模态视觉推理模型，采用逐步推理学习方法解决复杂任务
LlamaV-o1是阿联酋穆罕默德·本·扎耶德人工智能大学等机构提出的新多模态视觉推理模型，提升大型语言模型的逐步视觉推理能力。引入视觉推理链基准测试VRC-Bench，包含超4000个推理步骤，全面评估模型推理能力；提出新...
-
发布了文章 6分钟前
LlamaCoder – 开发者的AI工具，快速创建全栈应用程序
LlamaCoder 是一个开源的 AI 工具，使用 Llama 3.1 405B 模型快速生成全栈应用程序。旨在提供一种替代 Claude Artifacts 的解决方案。集成了 Sandpack、Next.js、Tail...
-
发布了文章 8分钟前
Llama3.1 – Meta最新发布的最强开源AI模型
Llama 3.1是Meta最新发布的开源AI模型，包括8B、70B和405B三个版本，其中405B版本以其4050亿参数量成为目前最大的开源模型之一。Llama 3.1支持128K的上下文长度，能够处理长文本并具备多语言翻...
-
发布了文章 9分钟前
Llama-baidu093.1-baidu09Minitron – 英伟达联合Meta推出的Llama 3.1 4B参数模型
Llama-3.1-Minitron是由英伟达和Meta合作开发的AI模型，通过剪枝和知识蒸馏技术从Llama 3.1 8B模型精炼而成的更小型4B参数模型。这种优化减少了模型大小和复杂性，同时保持了核心性能。...
-
发布了文章 11分钟前
Llama Tutor – 开源的AI学习平台，提供学习主题生成定制学习计划
Llama Tutor 是一个基于AI的个性化学习平台，由 Llama 3.1 和 Together AI 技术驱动，是一个完全开源的项目。支持用户输入想要学习的主题和教育水平，生成一个量身定做的学习计划。平台覆盖包括篮球、...
-
发布了文章 14分钟前
Llama Nemotron – 英伟达推出的系列推理模型
Llama Nemotron是NVIDIA推出的一系列推理模型，专注于推理和多种智能代理（agentic AI）任务。模型基于Llama开源模型，经过NVIDIA的后训练，加入推理能力，在科学推理、高级数学、编程、指令遵循和...
全部评论
留言在赶来的路上...
发表评论