MimicTalk是浙江大学和字节跳动共同研发推出基于NeRF（神经辐射场）技术，能在极短的时间内，仅需15分钟训练出个性化和富有表现力的3D说话人脸模型。MimicTalk提高了训练效率，基于高效的微调策略和具有上下文学习能力的人脸动作生成模型，显著提升生成视频的质量。MimicTalk的代码是基于之前的Real3D-Portrait项目，进一步优化而来，支持用音频驱动来生成特定人物的说话头像，让数字人视频在感官上与真人具有极高的相似性。
MMaDA（Multimodal Large Diffusion Language Models）是普林斯顿大学、清华大学、北京大学和字节跳动推出的多模态扩散模型，支持跨文本推理、多模态理解和文本到图像生成等多个领域实现卓越...
LiveCC 是新加坡国立大学Show Lab 团队联合字节跳动推出的实时视频解说模型，基于自动语音识别（ASR）字幕进行大规模训练。LiveCC像专业解说员一样快速分析视频内容，同步生成自然流畅的语音或文字解说。...
LatentSync是字节跳动、北京交通大学联合推出的端到端唇形同步框架，基于音频条件的潜在扩散模型，无需任何中间的3D表示或2D特征点。LatentSync用Stable Diffusion的强大生成能力，捕捉复杂的视听关...
FutureX是字节跳动、复旦大学、斯坦福大学和普林斯顿大学的研究团队联合发布的，专为LLM智能体未来预测任务设计的动态实时评估基准。通过半自动化管道从195个高质量网站实时收集未来事件问题，在事件解决后自动获取真实结果进行...
FlashVideo是字节跳动团队提出的高效的高分辨率视频生成框架，通过两阶段方法解决了传统单阶段扩散模型在高分辨率视频生成中面临的巨大计算成本问题。在第一阶段，FlashVideo 使用 50 亿参数的大型模型在低分辨率（...
DreamVVT 是字节跳动和清华大学（深圳）联合推出的视频虚拟试穿（Video Virtual Try-On, VVT）技术，基于扩散 Transformer（DiTs）框架，通过两阶段方法实现高保真且时间连贯的虚拟试穿效...
DreamO 是字节跳动创作团队联合北京大学深圳研究生院电子与计算机工程学院联合推出的用在图像定制生成的统一框架，基于预训练的扩散变换器（DiT）模型实现多种图像生成任务的灵活定制。...
DreamFit是字节跳动团队联合清华大学深圳国际研究生院、中山大学深圳校区推出的虚拟试衣框架，专门用在轻量级服装为中心的人类图像生成。基于自适应注意力和LoRA模块，将模型复杂性降低至83.4M可训练参数，显著提高训练效率...
全部评论
留言在赶来的路上...
发表评论