GLM-Edge是智谱开源的一系列端侧部署优化的大语言对话模型和多模态理解模型,包含GLM-Edge-1.5B-Chat
、GLM-Edge-4B-Chat
、GLM-Edge-V-2B
和GLM-Edge-V-5B
。1.5B / 2B模型主要面向手机、车机等平台、4B / 5B 模型主要面向PC等平台。基于GLM-4系列技术积累,调整模型结构和尺寸,实现模型性能、实机推理效果和落地便利性之间的最佳平衡。在高通骁龙8 Elite等端侧平台上,GLM-Edge基于混合量化方案和投机采样技术,1.5B对话模型、2B多模态模型能实现每秒60至100个tokens的高速解码,展现出卓越的推理性能。


全部评论
留言在赶来的路上...
发表评论