Self-Lengthen是阿里巴巴千问团队推出的创新的迭代训练框架,能提升大型语言模型(LLMs)生成长文本的能力。框架基于两个角色,生成器和扩展器协同工作,生成器负责生成初始响应,扩展器将响应拆分、扩展产生更长的文本。整个过程不断迭代,逐步训练模型处理更长的输出。Self-Lengthen无需额外数据或专有模型,基于LLMs的内在知识和技能,有效解决长文本生成的训练缺陷问题。

Self-baidu09Lengthen – 阿里千问推出的提升输出长度迭代训练框架  第1张
(图片来源网络,侵删)
Self-baidu09Lengthen – 阿里千问推出的提升输出长度迭代训练框架  第2张
(图片来源网络,侵删)