ProX – 提高大语言模型预训练数据质量的框架

baidu09_com 2025-08-30 7 0

ProX（Programming Every Example）是一个旨在提高大型语言模型预训练数据质量的框架。与传统依赖人类专家制定规则的方法不同，ProX将数据清洗任务视为编程问题，支持模型自动执行如字符串标准化和噪声行移除等细粒度操作。小型模型（如0.3B参数）也能展现出与人类专家相当的数据处理能力。实验结果表明，ProX处理后的数据用于模型预训练，在各种下游任务中取得超过2%的性能提升。ProX的另一个显著优势是在不同模型大小和预训练语料库上的广泛适用性，包括在特定领域（如数学）的持续预训练中，无需特定领域设计即可显著提升模型性能。ProX节省训练FLOPs，为高效预训练大型语言模型提供有前景的路径。