MiLoRA是参数高效的大型语言模型（LLMs）微调方法，通过更新权重分量来矩阵的次要奇异减少计算和内存成本。方法基于奇异值分解（SVD）将权重矩阵分为主要和次要两部分，主要部分包含重要知识，次要部分包含噪声或长尾信息。在微调过程中，MiLoRA保持主要部分不变，只优化次要部分，在适应新任务的同时保留预训练模型的知识。实验表明，MiLoRA在多个基准测试中性能优于传统方法，训练和推理效率更高。

MiLoRA – 上海财经、南方科技和清华大学联合推出针对LLMs的微调方法 第1张
（图片来源网络，侵删）
MiLoRA – 上海财经、南方科技和清华大学联合推出针对LLMs的微调方法 第2张
（图片来源网络，侵删）