OLMo 2 32B 是 Allen Institute for AI(Ai2)推出的最新开源语言模型,是 OLMo 2 系列的重要成果。拥有 320 亿参数,是首个在多技能学术基准测试中超越 GPT-3.5-Turbo 和 GPT-4o-mini 的完全开放模型,性能接近 Qwen-2.5-72B 等更大规模模型。 模型采用高效的训练策略,通过预训练、中训练和后训练阶段,基于 OLMo-Mix-1124 数据集(3.9 万亿标记)和 Dolmino 数据集(8430 亿标记)进行训练,仅需三分之一的计算量达到与 Qwen-2.5-32B 相似的性能。训练框架 OLMo-core 支持 4D+ 并行化,高度灵活且高效。

OLMo 2 32B – Ai2 推出的最新开源语言模型  第1张
(图片来源网络,侵删)
OLMo 2 32B – Ai2 推出的最新开源语言模型  第2张
(图片来源网络,侵删)