HuggingFace Daily Papers·· 3 天前AI 评分37
PaLoRA:面向持续学习的节奏化低秩适配方法
PaLoRA: Paced Low-Rank Adaptation for Continual Learning
AI 导读
PaLoRA 提出一种节奏化低秩适配方法,通过自适应 SVD 截断压缩历史知识、将梯度投影到先前任务的零空间,并按历史更新的有效秩 R 施加 rank-aware 自适应节奏约束,其推导出的节奏律为 s^*=R/c。实验显示该方法持续优于既有方法,在 50 任务 ImageNet-A 与 ImageNet-R 基准上准确率提升 4%。
来源:HuggingFace Daily Papers · arxiv.org