浙大 联合办学

VideoRefer是浙江大学和阿里达摩学院联合推出的，专门用在视频中对象的感知和推理。基于增强视频大型语言模型（Video LLMs）的空间-时间理解能力，让模型能在视频中对任何对象进行细粒度的感知和推理。...

VideoMaker是浙江大学、腾讯和华为诺亚方舟实验室共同开发的创新项目，基于视频扩散模型（VDM）的零样本定制视频生成框架。与传统方法不同，VideoMaker无需额外模型即可直接从参考图片中提取和注入主题特征，实现个性...

OmniCam 是先进的多模态视频生成框架，通过摄像机控制实现高质量的视频生成。支持多种输入模态组合，用户可以提供文本描述、视频中的轨迹或图像作为参考，精确控制摄像机的运动轨迹。...

LanDiff是用于高质量的文本到视频（T2V）生成的创新混合框架，结合了自回归语言模型（LLM）和扩散模型（Diffusion Model）的优势，通过粗到细的生成方式，有效克服了单一方法在语义理解和视觉质量上的局限性。...

ICEdit（In-Context Edit）是浙江大学和哈佛大学推出的指令式图像编辑框架。基于大规模扩散变换器（Diffusion Transformer）的强大生成能力和上下文感知能力，用自然语言指令对图像进行精准编辑。...

HumanDiT 是浙江大学和字节跳动联合提出的姿态引导的高保真人体视频生成框架。基于扩散变换器（Diffusion Transformer，DiT），能在大规模数据集上训练，生成具有精细身体渲染的长序列人体运动视频。...

HealthGPT 是浙江大学、电子科技大学、阿里巴巴等多家机构联合开发的先进的医学视觉语言模型（Med-LVLM），通过异构知识适应技术实现医学视觉理解和生成任务的统一框架。采用创新的异构低秩适应（H-LoRA）技术，将视...

EliGen是浙江大学和阿里巴巴集团联合开发的新型的实体级可控图像生成框架，通过引入区域注意力机制，无需额外参数即可将实体提示和任意形状的空间掩码无缝集成到扩散变换器中。EliGen包含50万高质量注释样本的数据集，用于训练...