HuggingFace Daily Papers(社区热门论文)·· 3 天前AI 评分40
看清、说出、分类:LLM 涌现性失准的机制诊断与参数空间缓解
See it, Say it, Sorted: Mechanistic Diagnosis and Parameter-Space Mitigation of Emergent Misalignment in LLMs
AI 导读
研究对 LLM 涌现性失准(EM)做二阶几何动态分析,发现方向性 Hessian 曲率集中在语义枢轴 token 上,有害-安全差距扩大主要源于安全梯度重叠下降。据此提出的参数级几何缓解框架,在 Qwen2.5-14B-IT 上将自由生成 EM 抑制最多 80.0%,并在四个开源指令模型家族中的另外三个(3B–20B)上验证同一有害子空间控制冻结 EM 响应的条件支持。
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org