DiffSplat是新型的 3D 生成方法,从文本提示和单视图图像快速生成 3D 高斯点阵(Gaussian Splats)。通过微调预训练的文本到图像扩散模型,基于强大的 2D 先验知识,引入 3D 渲染损失来确保生成的 3D 内容在多视图下保持一致性。DiffSplat 的核心优势在于其高效性和灵活性,能在 1~2 秒内生成高质量的 3D 对象,支持文本条件、图像条件或两者的组合输入。轻量级的重建模型用于构建结构化的高斯表示,为训练提供了高质量的数据支持。

DiffSplat – 北大联合字节推出的 3D 生成框架  第1张
(图片来源网络,侵删)
DiffSplat – 北大联合字节推出的 3D 生成框架  第2张
(图片来源网络,侵删)