ConsistentDreamer 是华为慕尼黑研究中心提出的新型图像到 技术,通过单张图像生成视图一致的 3D 网格。方法通过多视图先验图像引导的高斯优化,解决了传统方法在多视图一致性上的不足。ConsistentDreamer 首先生成一组固定视角的多视图图像,然后基于分数蒸馏采样(SDS)损失和扩散模型优化 3D 模型的粗略形状。通过动态任务权重平衡粗略形状和精细细节的优化,引入不透明度、深度失真和法线对齐损失来细化表面。

ConsistentDreamer – 华为推出的单张图像生成 3D 资产技术  第1张
(图片来源网络,侵删)
ConsistentDreamer – 华为推出的单张图像生成 3D 资产技术  第2张
(图片来源网络,侵删)