EmoTalk3D是华为诺亚方舟实验室、南京大学和复旦大学共同推出的3D数字人框架。技术的核心在于能合成具有丰富情感表达的3D会说话头像。EmoTalk3D能捕捉和再现人类在说话时的唇部动作、面部表情,甚至是更微妙的情感细节,如皱纹和其他面部微动。EmoTalk3D通过一个名为“Speech-to-Geometry-to-Appearance”的映射框架,实现了从音频特征到3D几何序列的预测,再到3D头像外观的合成。

EmoTalk3D – 华为、复旦联合推出的3D数字人框架  第1张
(图片来源网络,侵删)
EmoTalk3D – 华为、复旦联合推出的3D数字人框架  第2张
(图片来源网络,侵删)