Ring-lite是蚂蚁技术AntTech团队推出的基于MoE架构的轻量级推理模型。模型用Ling-lite-1.5为基础,基于独创的C3PO强化学习训练方法,在多项推理Benchmark上达到SOTA效果,仅用2.75B激活参数。Ring-lite基于稳定强化学习训练、优化Long-CoT SFT与RL的训练比重、解决多领域任务联合训练难题等技术创新,实现高效推理。Ring-lite开源了技术栈,包括模型权重、训练代码、数据集等,推动轻量级MoE推理模型的发展。

Ring-baidu09lite – 蚂蚁技术开源的轻量级推理模型  第1张
(图片来源网络,侵删)
Ring-baidu09lite – 蚂蚁技术开源的轻量级推理模型  第2张
(图片来源网络,侵删)