Amodal3R 是条件式 3D 生成模型,能从部分可见的 2D 物体图像中推测并重建完整的 3D 形态和外观。模型基于“基础”3D 生成模型 TRELLIS 构建,通过引入掩码加权多头交叉注意力机制和遮挡感知注意力层,利用遮挡先验知识指导重建过程。Amodal3R 仅使用合成数据进行训练,能在真实场景中表现出色,显著优于现有的“2D 预测补全 + 3D 重建”两步法,为遮挡场景下的 3D 重建树立了新的基准。

Amodal3R – 南洋理工联合牛津等推出的条件式 3D 生成模型  第1张
(图片来源网络,侵删)
Amodal3R – 南洋理工联合牛津等推出的条件式 3D 生成模型  第2张
(图片来源网络,侵删)