文章主要内容总结
本文针对大语言模型（LLMs）的持续微调中效率与表达能力的权衡问题，提出了一种名为GORP（Gradient LOw Rank Projection，梯度低秩投影）的新训练策略。
现有低秩适应方法（如LoRA）虽能提高效率，但受限于低秩结构，限制了模型学习新任务和迁移知识的能力，且依赖显式参数约束易导致任务间参数空间冲突。GORP通过以下方式解决这些问题：
- 协同结合全秩和低秩参数，在统一的低秩梯度子空间中联合更新，既扩展了优化空间，又保留了低秩适应的效率；
- 利用梯度的一阶矩近似隐藏特征空间，更稳健高效地构建梯度子空间，减轻灾难性遗忘并降低计算开销；
- 在多个持续学习基准测试中，GORP的性能优于现有最先进方法，验证了其在平衡稳定性与可塑性方面的有效性。
创新点
- 参数协同更新：将全秩参数与低秩参数的优势结合，在统一低秩梯度子空间中联合更新，既扩展了最优解的搜索空间，又保持了低秩适应的效率。
- 梯度子空间构建：利用梯度的一阶矩近似隐藏特征空间，更稳健、高效地构建梯度子空间，减少灾难性遗忘并降低计算开销。
- 平衡稳定性与可塑性：提出的GORP策略在持续学习中有效平衡了模型的稳定性（保留旧知识）和可塑性（学习新知识），性能优于现有方法且保持微调效率。
