DELIFT – 数据高效语言模型指令微调算法

baidu09_com 2025-08-28 6 0

DELIFT（Data Efficient Language model Instruction Fine-Tuning）是基于高效数据优化语言模型指令微调，一种新颖的算法，用在优化大型语言模型（LLMs）在指令调优、任务特定微调和持续微调三个关键阶段的数据选择。基于成对效用度量和次模优化技术，高效选择多样化和最优的数据子集，减少计算资源消耗，同时保持或提升模型性能。实验显示，DELIFT能将微调数据量减少70%，显著节省计算资源，且效果优于现有方法。