跳到正文
HuggingFace Daily Papers·· 4 天前AI 评分44

NEEDLE:通过权重正交化移除 LLM 后门

Removing the NEEDLE in the Haystack: Backdoor Removal in LLMs via Weight Orthogonalisation

AI 导读

研究者提出免训练的后门移除方法 NEEDLE,通过激活向量估计后门方向与拒绝子空间,再施加顺序权重正交化,在压制后门的同时避免改变拒绝相关表征。该方法无需干净参考模型或原始投毒训练数据,在多种模型家族与攻击类型上取得最低平均攻击成功率,其中代码注入攻击为 0%,同时 KL 散度最低,能力与安全性变化极小。

来源:HuggingFace Daily Papers · arxiv.org