RWKV-7-2.9B模型(RWKV-7-World-2.9B-V3) 是RWKV 基金推出的先进 RNN 大语言模型。基于 RWKV World V3 数据集训练,具有 29 亿参数,支持世界所有语言。模型兼具 Transformer 和 RNN 的优势,推理效率高,显存占用少,无 KV Cache,对硬件友好。在多语言和英文能力上,超越同尺寸模型,如 Llama 3.2 3B 和 Qwen2.5 3B,在 MMLU 测试中得分达到 54.56%。RWKV-7-2.9B具备强大的代码生成、多语言文本生成、角色扮演 和 小说续写 能力。

RWKV-baidu097-baidu092.9B – RWKV 基金开源的 RNN 大语言模型  第1张
(图片来源网络,侵删)
RWKV-baidu097-baidu092.9B – RWKV 基金开源的 RNN 大语言模型  第2张
(图片来源网络,侵删)