HumanDiT 是浙江大学和字节跳动联合提出的姿态引导的高保真人体框架。基于扩散变换器(Diffusion Transformer,DiT),能在大规模数据集上训练,生成具有精细身体渲染的长序列人体运动视频。HumanDiT 的核心优势在于姿态引导机制,通过关键点扩散变换器(Keypoint-DiT)生成后续姿态序列,保证视频中人体动作的连贯性和自然性。引入了前缀潜在参考策略,在长序列中保持个性化特征。 HumanDiT 支持多种视频分辨率和可变序列长度,适合长序列视频生成。基于姿态适配器实现给定序列的姿态转移,进一步提升了姿态对齐的准确性。

HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架  第1张
(图片来源网络,侵删)
HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架  第2张
(图片来源网络,侵删)