EchoMimicV2是阿里蚂蚁集团推出的半身人体项目,基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频,确保音频内容与半身动作的一致性。EchoMimicV2在前代 EchoMimicV1 生成逼真人头动画的基础上,效果得到进一步提升,现在能生成完整的数字人半身动画,实现从中英文语音到动作的无缝转换。该方法用音频-姿势动态协调策略,包括姿势采样和音频扩散,增强细节表现力并减少条件冗余。EchoMimicV2用头部局部注意力技术整合头部数据,设计特定阶段去噪损失优化动画质量。

EchoMimicV2 – 阿里推出的开源数字人项目,能生成完整数字人半身动画  第1张
(图片来源网络,侵删)
EchoMimicV2 – 阿里推出的开源数字人项目,能生成完整数字人半身动画  第2张
(图片来源网络,侵删)