Base Labs：模型迭代学习旧事实被同类新事实覆盖

Baseten 旗下 Base Labs 发布研究称，模型在迭代学习新事实时，旧事实并未从权重中被删除，而是被同类新事实覆盖。 该研究以知识截止 1930 年的 13B 模型 talkie 为对象，按顺序写入 2011–2019 年的 20 条体育事实，每条事实单独训练一个 LoRA 并合并。Base Labs 称这是其论文《Can a Language Model Continually Learn Facts in its Weights?》的一次范围刻意收窄的延伸。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。