MagicTryOn是浙江大学计算机科学与技术学院、vivo移动通信等机构推出的基于视频扩散Transformer的视频框架。框架替换传统的U-Net架构为更具表现力的扩散Transformer（DiT），结合全自注意力机制，实现视频的时空一致性建模。框架用粗到细的服装保持策略，基于在嵌入阶段整合服装标记以及在去噪阶段引入语义、纹理和轮廓线等多条件，有效保留服装细节。MagicTryOn在图像和视频试穿数据集上均展现出超越现有最先进方法的性能，在评估指标、视觉质量和在野外场景的泛化能力上都表现出色。
LanDiff是用于高质量的文本到视频（T2V）生成的创新混合框架，结合了自回归语言模型（LLM）和扩散模型（Diffusion Model）的优势，通过粗到细的生成方式，有效克服了单一方法在语义理解和视觉质量上的局限性。...
InftyThink是创新的大模型推理范式，突破传统模型在长推理任务中的局限性。通过分段迭代的方式，将复杂的推理过程分解为多个短片段，在每个片段后生成中间总结，实现分块式思考。...
HumanDiT 是浙江大学和字节跳动联合提出的姿态引导的高保真人体视频生成框架。基于扩散变换器（Diffusion Transformer，DiT），能在大规模数据集上训练，生成具有精细身体渲染的长序列人体运动视频。...
HealthGPT 是浙江大学、电子科技大学、阿里巴巴等多家机构联合开发的先进的医学视觉语言模型（Med-LVLM），通过异构知识适应技术实现医学视觉理解和生成任务的统一框架。采用创新的异构低秩适应（H-LoRA）技术，将视...
EliGen是浙江大学和阿里巴巴集团联合开发的新型的实体级可控图像生成框架，通过引入区域注意力机制，无需额外参数即可将实体提示和任意形状的空间掩码无缝集成到扩散变换器中。EliGen包含50万高质量注释样本的数据集，用于训练...
AnimateAnything是浙江大学和北京航空航天大学研究者推出的统一可控视频生成技术。AnimateAnything能精确操作视频，包括控制相机轨迹、文本提示和用户动作注释。基于多尺度控制特征融合网络，该技术将控制信息...
全部评论
留言在赶来的路上...
发表评论