HelloMeme是基于最新的Diffusion生成技术的框架,实现表情与姿态的迁移,HelloMeme集成空间编织注意力(Spatial Knitting Attentions)机制,基于Stable Diffusion 1.5模型的理解能力,将头部姿态和面部表情信息融合到去噪网络中,生成自然和物理合理的表情包视频。HelloMeme保持了基础模型的泛化能力,具有扩展到全身或半身构图的潜力。

HelloMeme – 面部表情与姿态迁移框架,基于Stable Diffusion 1.5模型理解能力  第1张
(图片来源网络,侵删)
HelloMeme – 面部表情与姿态迁移框架,基于Stable Diffusion 1.5模型理解能力  第2张
(图片来源网络,侵删)