AvatarGO 是南洋理工大学S-Lab、上海 AI Lab,香港大学联合推出的新型框架,用在从文本输入直接生成可动画化的 4D 人体与物体交互场景。通过零样本(zero-shot)方法基于预训练的扩散模型,解决传统方法在生成日常 HOI 场景时因缺乏大规模交互数据而受限的问题。AvatarGO 的核心包括:LLM 引导的接触重定位,基于 Lang-SAM 从文本提示中识别接触部位,确保人体与物体的空间关系精确表示;对应感知的运动优化,用 SMPL-X 的线性混合蒙皮函数构建运动场,优化人体和物体的动画,减少穿透问题。AvatarGO框架在多种人体与物体组合及多样化姿态下表现出优越的生成和动画能力。

AvatarGO –  南洋理工联合上海 AI Lab 等推出的4D人体与物体交互生成框架 第1张
(图片来源网络,侵删)
AvatarGO –  南洋理工联合上海 AI Lab 等推出的4D人体与物体交互生成框架 第2张
(图片来源网络,侵删)