BlueLM-V-3B是vivo AI Lab和香港中文大学MMLab联合推出的算法和系统协同设计方法,支持高效部署多模态大型语言模型(MLLM)至移动设备。模型以小尺寸(2.7B语言参数和400M视觉参数)、快速度(24.4 token/s生成速度)和强性能(OpenCompass基准测试中得分66.1)为特点,基于优化动态分辨率方案和硬件感知部署,提升模型在手机上的推理效率和性能。


BlueLM-V-3B是vivo AI Lab和香港中文大学MMLab联合推出的算法和系统协同设计方法,支持高效部署多模态大型语言模型(MLLM)至移动设备。模型以小尺寸(2.7B语言参数和400M视觉参数)、快速度(24.4 token/s生成速度)和强性能(OpenCompass基准测试中得分66.1)为特点,基于优化动态分辨率方案和硬件感知部署,提升模型在手机上的推理效率和性能。
全部评论
留言在赶来的路上...
发表评论