Pippo是Meta Reality Labs推出的图像到模型,能从单张照片生成1K分辨率的多视角高清人像视频。模型基于多视角扩散变换器,预训练了30亿张人像图像,在2500张工作室捕捉的图像上进行了后训练。Pippo的核心技术包括ControlMLP模块,用于注入像素对齐的条件,以及注意力偏差技术,能在推理时生成比训练时多5倍以上的视角。Pippo引入了重投影误差,用于评估多视角生成的3D一致性。

Pippo – Meta 推出的单图生成多视角高清人像视频模型  第1张
(图片来源网络,侵删)
Pippo – Meta 推出的单图生成多视角高清人像视频模型  第2张
(图片来源网络,侵删)