NVILA是NVIDIA推出的系列视觉语言模型,能平衡效率和准确性。模型用“先扩展后压缩”策略,有效处理高分辨率图像和长视频。NVILA在训练和微调阶段进行系统优化,减少资源消耗,在多项图像和视频基准测试中达到或超越当前领先模型的准确性,包括Qwen2VL、InternVL和Pixtral在内的多种顶尖开源模型,及GPT-4o和Gemini等专有模型。NVILA引入时间定位、机器人导航和医学成像等新功能,拓宽其在多个领域的应用潜力。

NVILA – 英伟达推出的视觉语言大模型  第1张
(图片来源网络,侵删)
NVILA – 英伟达推出的视觉语言大模型  第2张
(图片来源网络,侵删)