Phi-4是微软推出的14B参数小型语言模型,在数学等领域的复杂推理以及传统语言处理方面表现出色。Phi-4用数据质量为核心训练重点,大量融入合成数据,提升模型在STEM问答和数学竞赛问题上的表现。Phi-4引入新的训练范式midtraining,增强长文本处理能力,窗口长度可达16K。Phi-4在编程任务上表现出色,在HumanEval基准测试中以82.6%的准确率领先其他开源模型(如70B的和72B的)。Phi-4已在Hugging Face上开源可下载使用。

Phi-baidu094 – 微软开源的14B参数小语言模型,擅长数学等领域的复杂推理  第1张
(图片来源网络,侵删)
Phi-baidu094 – 微软开源的14B参数小语言模型,擅长数学等领域的复杂推理  第2张
(图片来源网络,侵删)