调节初始化接口
-
发布了文章 2个月前
改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果
改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果 随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超...
没有更多内容
改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果 随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超...
没有更多内容