Local Support Learning：无需旧数据即可缓解大模型灾难性遗忘

研究者提出 Local Support Learning（LSL），一种无需访问旧数据即可保留模型已有能力的通用训练框架，通过权重适配器加基于高斯混合模型（GMM）的门控函数，使更新仅作用于当前训练分布的输入激活。该方法可在最高 70 亿参数的 LLM 上缓解灾难性遗忘，跨多个训练阶段同时保留预训练与微调能力，且内存与计算开销低、对超参数选择稳健，并展现出扩展潜力。