技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
517 条精选近 30 天 73 条共收录 3,085 条
Aim Labs（Cato）披露 Cursor IDE 的高危漏洞 CurXecute（CVE-2025-54135，评分 8.6），外部托管的一条提示词注入可静默改写 ~/.cursor/mcp. 并以用户权限执行任意命令，实现 RCE。
推荐理由：原文给出完整的提示词注入到 RCE 攻击链细节和漏洞机理，读者可以据此审视 MCP 类 Agent 的运行时防护。
OpenAI 推出针对 o1 模型的新对齐策略 deliberative alignment，直接教模型安全规范，并让模型在推理过程中对这些规范进行推理，以提升语言模型的安全性。
推荐理由：OpenAI 自己阐述了 o1 的对齐策略思路，读者可以了解推理能力如何被用于安全规范。
OpenAI 发布 o1 和 o1-mini 系统卡，报告发布前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：报告披露 o1 系列发布前的外部红队测试和 Preparedness Framework 前沿风险评估流程，读者可了解官方安全评估的实际做法。
英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。
推荐理由：原文给出 LFT 评估方法的设计细节与案例结果，读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。
Lilian Weng@lilianweng精选🦃 感恩节假期结束时，我终于完成了关于 reward hacking 的文章。不好写啊，呼。
推荐理由：OpenAI研究员深度解析奖励作弊机制，揭示LLM自主化部署的关键安全障碍
OpenAI 封禁了一批疑似属于被追踪为 SweetSpecter 的中国相关威胁行为者的账号。OpenAI 称这些账号利用其 AI 研究漏洞、编写代码，并支持鱼叉式钓鱼活动。
推荐理由：作为当事方封禁通告，说明 SweetSpecter 将 AI 用于漏洞研究、编码和鱼叉式钓鱼的具体环节。
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。
推荐理由：报告给出完整攻击链和复现细节，读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。
推荐理由：官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果，读者可以据此了解当前前沿模型在风险维度上的真实能力边界。
英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。
推荐理由：报告由 Yoshua Bengio 主持、AISI 协调，读者可借此了解学界对高级 AI 风险的共识与分歧。
OpenAI 封禁了与中国来源的"Spamouflage"影响行动相关的账号。该行动利用 AI 调研社交媒体活动、生成帖文，并调试一个此前未被报道的网站。
推荐理由：官方披露了与关联的影响行动细节，包括用 AI 生成帖文和调试未报道网站，读者可了解 AI 被滥用的具体方式。
OpenAI 发布题为 Disrupting malicious uses of AI by state-affiliated threat actors 的公告，说明其采取了破坏国家关联威胁行为者恶意使用 AI 的行动。正文抓取失败，更多细节以原文链接为准。
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
OpenAI 推出 Superalignment Fast Grants，提供 1000 万美元资助超人类 AI 系统的对齐与安全技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
推荐理由：OpenAI 出资支持超人类 AI 对齐研究，给出了资助规模和方向清单，相关研究者可据此判断是否申请。
2023 年 11 月 2 日，首届 AI Safety Summit 在 Bletchley Park 举行，英国首相办公室及科学、创新和技术部发布总结。世界领导人与头部公司一致认同先进 AI 风险的重要性以及测试的意义。
推荐理由：主办方官方总结首届峰会成果，读者可从中了解各方对先进 AI 风险与测试重要性达成的共识。
OpenAI 发布 GPT-4V(ision) 系统卡，说明该多模态模型的相关信息。
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。