DynamicFace是小红书团队推出新型的视频技术,技术通过结合扩散模型和即插即用的时间层,基于3D面部先验知识,实现高质量和一致性的视频换脸效果。 DynamicFace的核心在于引入了四种精细的面部条件:背景、形状感知的法线图、表情相关的地标和去除身份信息的UV纹理图。这些条件相互独立,能提供精确的运动和身份信息。还采用了Face Former和ReferenceNet进行身份注入,确保在不同表情和姿态下保持身份一致性。

DynamicFace – 小红书联合上海交大等推出的视频换脸技术  第1张
(图片来源网络,侵删)
DynamicFace – 小红书联合上海交大等推出的视频换脸技术  第2张
(图片来源网络,侵删)