AniTalker是由来自上海交大X-LANCE实验室和思必驰AISpeech的研究人员推出的说话视频生成框架，能够将单张静态人像和输入的音频转换成栩栩如生的动画对话视频。该框架通过自监督学习策略捕捉面部的复杂动态，包括微妙的表情和头部动作。AniTalker利用通用运动表示和身份解耦技术，减少了对标记数据的依赖，同时结合扩散模型和方差适配器，生成多样化和可控制的面部动画，可实现类似阿里和腾讯的效果。

AniTalker – 上海交大开源的对口型说话视频生成框架 第1张
（图片来源网络，侵删）
AniTalker – 上海交大开源的对口型说话视频生成框架 第2张
（图片来源网络，侵删）