EMAGE（Expressive Masked Audio-conditioned GEsture modeling）是清华大学、东京大学、庆应义塾大学等机构推出的生成全身共语手势框架。EMAGE能根据音频和部分遮蔽的手势输入，生成与音频同步的完整全身手势，包括面部表情、身体动作、手势和全局运动。EMAGE基于掩蔽音频手势变换器实现音频到手势的生成和掩蔽手势重建的联合训练，有效编码音频和身体手势提示。EMAGE用四个组合的预训练VQ-VAE（Vector Quantized Variational AutoEncoders）解码局部面部和身体动作，基于预训练的全局运动预测器解码全局平移。

EMAGE – 清华联合东大等机构推出的音频生成全身共语手势框架 第1张
（图片来源网络，侵删）