EleutherAI研究：教师偏好可跨架构迁移

EleutherAI 发布 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》，研究预训练中的潜意识学习。论文称，教师模型对动物的偏好可通过蒸馏迁移给学生模型，且不要求两者共享初始化、数据顺序、预训练语料、模型规模或架构。 这意味着偏好迁移不依赖此前认为必要的共同条件，可在不同架构的模型之间发生。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。