改变LoRA的初始化方式，北大新方法PiSSA显著提升微调效果
随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。
为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。
- 论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
- 论文链接: https://arxiv.org/pdf/2404.02948.pdf
- 代码链接: https://github.com/GraphPKU/PiSSA
如图 1 所示，PiSSA (图 1c) 在模型架构上和 LoRA [1] 完全一致 (图 1b)，只是初始化 Adapter 的方式不同。LoRA 使用高斯噪声初始化 A，使用 0 初始化 B。而 PiSSA 使用主奇异值和奇异向量 (Principal Singular values and Singular vectors) 来初始化 Adapter 来初始化 A 和 B。
图 1）从左到右依次为全参数微调、LoRA、以及 PiSSA。蓝色代表冻结的参数，橘黄色代表可训练参数及它们的初始化方式。相比全参数微调，LoRA 和 PiSSA 都大幅节省了可训练参数量。对于相同输入，这三种方法的初始输出完全相等。然而，PiSSA 冻结模型的次要成分，直接微调主成分（前 r 个奇异值和奇异向量）；而 LoRA 可看作冻结模型的主要部分，而去微调 noise 部分。
在不同的任务上对比 PiSSA、LoRA 的微调效果
研究团队使用 llama 2-7B、Mistral-7B 以及 Gemma-7B 作为基础模型，通过微调提升它们的数学、代码和对话能力。其中包括：在 MetaMathQA 上训练，在 GSM8K 和 MATH 数据集上验证模型的数学能力；在 CodeFeedBack 上训练，在 HumanEval 和 MBPP 数据集上验证模型的代码能力；在 WizardLM-Evol-Instruct 上训练，在 MT-Bench 上验证模型的对话能力。从下表的实验结果可以看出，使用相同规模的可训练参数，PiSSA 的微调效果显著超越了 LoRA，甚至超越了全参数微调。
对比 PiSSA、LoRA 在不同的可训练参数量下微调的效果
研究团队在数学任务上对模型的可训练参数量和效果之间的关系进行消融实验。从图 2.1 发现在训练初期，PiSSA 的训练 loss 下降特别快，而 LoRA 存在不下降，甚至略有上升的阶段。此外，PiSSA 的训练 loss 全程低于 LoRA，说明对训练集拟合得更好；从图 2.2、2.3、2.4 可以看出在每种 setting 下，PiSSA 的 loss 始终比 LoRA 低，准确率始终比 LoRA 高，PiSSA 能够使用更少的可训练参数追赶上全参数微调的效果。
图 2.1） 当秩为 1 时 PiSSA、LoRA 在训练过程中的 loss。每幅图的右上角是前 100 步迭代放大的曲线。其中 PiSSA 用橙色线表示，LoRA 用蓝色线表示，全参数微调用绿线展示了最终的 loss 作为参考。秩为 [2,4,8,16,32,64,128] 时的现象与此一致，详见文章附录。
图 2.2）使用秩为 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 的最终 training loss。
图 2.3）使用秩为 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 微调的模型在 GSM8K 上的准确率。
图 2.4）使用秩为 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 微调的模型在 MATH 上的准确率。
对比高中低奇异值微调效果实验
为了验证使用不同大小奇异值、奇异向量初始化适配器对模型的影响，研究人员分别使用高、中、低奇异值初始化 LLaMA 2-7B、Mistral-7B-v0.1、Gemma-7B 的适配器，然后在 MetaMathQA 数据集上进行微调，实验结果展示在图 3 中。从图中可以看出，使用主要奇异值初始化的方法训练损失最小，在 GSM8K 和 MATH 验证集上的准确率更高。这一现象验证了微调主要奇异值、奇异向量的有效性。
快速奇异值分解
PiSSA 继承了 LoRA 的优点，使用起来方便，效果超越 LoRA。代价是在初始化阶段，需要对模型进行奇异值分解。虽然仅需要在初始化时分解一次，但是仍然可能需要几分钟甚至几十分钟的开销。因此，研究人员使用一种快速奇异值分解 [6] 方法替代标准的 SVD 分解，通过下表的实验可以看出，仅需几秒钟的时间，就能逼近标准 SVD 分解的训练集拟合效果。其中 Niter 表示迭代次数，Niter 越大，时间越久但是误差越小。Niter = ∞表示标准 SVD。表格中的平均误差表示快速奇异值分解与标准 SVD 得到的 A、B 之间的平均 L_1 距离。
总结与展望
本工作对预训练模型的权重进行奇异值分解，通过将其中最重要的参数用于初始化一个名为 PiSSA 的适配器，微调这个适配器来近似微调完整模型的效果。实验表明，PiSSA 比 LoRA 收敛更快，最终效果更好，唯一的代价仅是需要几秒的 SVD 初始化过程。
那么，您愿意为了更好的训练效果，多花几秒钟时间，一键更改 LoRA 的初始化为 PiSSA 吗？
本文来自微信公众号“机器之心”
全部评论
留言在赶来的路上...
发表评论