英国 AI Security Institute 与 Centre for the Governance of AI 将联合举办前沿 AI 安全框架会议
英国 AI Security Institute 与 Centre for the Governance of AI 将于 11 月 21-22 日在旧金山湾区联合举办前沿 AI 安全框架会议，约 100 名受邀者参加。
#安全/对齐
英国 AI Security Institute：BlogAI 评分3939
LMSYS Blog RedTeam Arena：开源社区驱动的越狱平台
RedTeam Arena 是一个开源的大语言模型红队测试平台，由 LMSYS 与 Pliny 及 BASI 社区联合推出。平台首发游戏 Bad Words 已吸引数千用户参与，玩家需诱导模型说出特定敏感词汇。团队提出新型统计方法 Extended Elo，通过逻辑回归分别计算玩家、模型和提示词的独立评分，相比传统 Elo 算法实现样本量的二次方级节省。所有代码已开源，数据将在短期延迟后向公众开放。
英国 AI Security Institute：BlogAI 评分4141 英国 AI Security Institute 谈前沿 AI 安全案例（safety cases）
英国 AI Security Institute 提出以"安全案例"（safety cases）作为前沿 AI 安全的结构化论证框架，即用证据支撑的论证说明系统在特定应用和环境中是安全的。
PromptArmor：Threat Intelligence精选AI 评分6868 PromptArmor 披露 Slack AI 可经间接提示词注入窃取私频数据
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。
推荐理由：报告给出完整攻击链和复现细节，读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
METR：ResearchAI 评分5858 METR 更新通用自主能力评测：新增约 50 个任务并测试 GPT-4o 与 Claude 智能体
METR 发布通用自主能力评测的中期研究更新，新增约 50 个自动评分任务，涵盖网络安全、软件工程和机器学习技能。基于 GPT-4o 和 Claude 3.5 Sonnet 的智能体完成任务水平约相当于人类基线者 30 分钟的工作量，任务难度跨度从不到 5 分钟到超过 16 小时；智能体性能在约 20 万 token 处趋平，而在双方都能完成的任务上，智能体成本约为人力的 1/30。
OpenAI：官网动态AI 评分4747 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，无需大量人工数据采集即可让模型行为安全对齐。
OpenAI：官网动态AI 评分5151 OpenAI 与洛斯阿拉莫斯国家实验室达成研究合作，共同开发生物风险评估方法
OpenAI 与洛斯阿拉莫斯国家实验室（Los Alamos National Laboratory）宣布开展研究合作，共同开发安全评估方法，以衡量前沿模型相关的生物能力与风险。该合作聚焦于为前沿模型建立生物领域的风险评测体系。
OpenAI：官网动态AI 评分2424 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法，用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角打造实用的内容审核系统，以应对真实世界中的不良内容识别需求。
EleutherAI：Blog 弱到强泛化实验
研究团队正在总结一项关于弱到强泛化的实验项目成果，探索如何利用较弱模型的监督信号来训练更强模型，以应对超人类AI对齐难题。该实验旨在验证强模型能否在弱监督下泛化出超越监督者水平的性能，为安全地引导未来超人类智能提供关键实证基础与可行路径。
EleutherAI：Blog 无需神谕概念标签的自由形式最小二乘概念擦除
该方法提出自由形式最小二乘概念擦除技术，在推理阶段无需依赖神谕概念标签即可实现比 LEACE 更精细的模型编辑。通过自由形式优化框架，技术突破传统方法对标注数据的依赖，在保持模型原有能力的同时，精准定位和移除目标概念表征，显著提升概念编辑的灵活性与精确度，为无监督概念操控提供高效解决方案。
OpenAI：官网动态AI 评分3838 OpenAI 详解 Voice Engine 工作原理与安全研究
OpenAI 发文深入介绍其文本转语音模型 Voice Engine 的技术原理，并阐述相关的安全研究。
Modal 官方工程博客AI 评分4646 Modal 如何用 syscall 签名识别加密货币挖矿程序
Modal 在其 serverless 容器运行时中加入基于 syscall 的程序分析组件 seccheck，用于检测并禁用挖矿的 Modal Functions，随后封禁相关用户。
OpenAI：官网动态AI 评分5252 OpenAI 关停用于隐蔽影响力行动的 AI 滥用账号
OpenAI 宣布已关停与隐蔽影响力行动相关的账号。官方表示其服务未使这些行动获得显著的受众增长。
OpenAI：官网动态AI 评分5959 OpenAI 董事会成立安全与保障委员会
OpenAI 董事会宣布成立安全与保障委员会（Safety and Security Committee）。正文抓取失败，仅有标题信息，具体职责与人事安排不详。
英国 AI Security Institute：Blog精选AI 评分6666 英国 AISI 发布五款公开 LLM 先进能力评测结果
英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。
推荐理由：官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果，读者可以据此了解当前前沿模型在风险维度上的真实能力边界。
英国 AI Security Institute：BlogAI 评分5757 英国 AI Safety Institute 发布第四份进展报告
英国 AI Safety Institute 发布第四份进展报告，公布首次模型评测技术博客、开源评测平台 Inspect，并宣布在旧金山设立办公室、与加拿大 AI Safety Institute 达成新合作。
英国 AI Security Institute：Blog精选AI 评分6363 高级 AI 安全国际科学报告发布中期版，由 Yoshua Bengio 主持
英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。
推荐理由：报告由 Yoshua Bengio 主持、AISI 协调，读者可借此了解学界对高级 AI 风险的共识与分歧。
OpenAI：官网动态AI 评分4545 OpenAI 封禁俄罗斯"Doppelganger"行动相关账号
OpenAI 封禁了与俄罗斯来源的"Doppelganger"行动相关的账号，该行动利用 AI 生成反乌克兰的社交媒体评论、翻译及网站文案，覆盖多种语言。
OpenAI：官网动态AI 评分5959 OpenAI 封禁涉俄“Bad Grammar”账号活动
OpenAI 封禁了与“Bad Grammar”活动关联的账号，这是其发现并命名的一个此前未被报道、源自俄罗斯的操作，利用 AI 生成英语和俄语的 Telegram 评论，话题涉及乌克兰、摩尔多瓦、波罗的海国家和美国政治。
OpenAI：官网动态AI 评分5555 OpenAI 封禁与伊朗相关的 IUVM 影响力内容网络账号
OpenAI 封禁了与伊朗起源行动 IUVM 相关的账号，该行动利用 AI 生成并翻译支持伊朗、反对以色列和反对美国的网站内容。
OpenAI：官网动态AI 评分5757 OpenAI 封禁与以色列相关影响行动 "Zero Zeno" 涉事账号
OpenAI 封禁了与此前未被报道的以色列来源影响行动 "Zero Zeno" 相关的账号，该行动利用 AI 生成反哈马斯、反卡塔尔、亲以色列、反 BJP 以及支持 Histadrut 的内容。这是 OpenAI 自行命名并披露的一项恶意使用 AI 的行动处置。
OpenAI：官网动态精选AI 评分6565 OpenAI 封禁与"Spamouflage"影响行动相关的账号
OpenAI 封禁了与中国来源的"Spamouflage"影响行动相关的账号。该行动利用 AI 调研社交媒体活动、生成帖文，并调试一个此前未被报道的网站。
推荐理由：官方披露了与关联的影响行动细节，包括用 AI 生成帖文和调试未报道网站，读者可了解 AI 被滥用的具体方式。
OpenAI：官网动态AI 评分5252 OpenAI 提出指令层级，训练 LLM 优先处理特权指令
OpenAI 发布《The Instruction Hierarchy》，训练 LLM 优先处理特权指令。原文指出当今 LLM 易受提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原始指令。
LlamaIndex：产品、工程与评测AI 评分4848 LlamaIndex 如何用差分隐私生成隐私安全文档并在网络中检索
LlamaIndex 展示用差分隐私技术把 Bob 和 Beth 的私有敏感数据转成隐私安全的合成副本，再通过 llama-index-networks 构建可跨网络查询的 RAG 系统。
LlamaIndex：产品、工程与评测AI 评分4343 用 LlamaIndex 和 Protect AI 的 LLM Guard 构建安全 RAG
Protect AI 展示如何用开源安全工具 LLM Guard 配合 LlamaIndex 加固 RAG 应用，对文档输入和模型输出进行扫描，检测并清除提示词注入、数据泄露等恶意内容。示例中，一份简历用白色文字隐藏了提示词注入，LLM Guard 在检索阶段将其拦截。LLM Guard 模型下载量已超 250 万次，并提供针对提示词和响应的多种安全扫描器。
LlamaIndex：产品、工程与评测AI 评分5959 在 LlamaIndex RAG 中用 Presidio 检测并掩码 PII 的实践
作者在 LlamaIndex RAG-A-THON 中开发 PresidioPIINodePostprocessor，将 Microsoft 开源的 Presidio 集成到 LlamaIndex 管线，对文本中的姓名、信用卡号、IBAN、IP 地址等 PII 进行类型化掩码。
OpenAI：官网动态精选AI 评分6565 OpenAI 破坏国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布题为 Disrupting malicious uses of AI by state-affiliated threat actors 的公告，说明其采取了破坏国家关联威胁行为者恶意使用 AI 的行动。正文抓取失败，更多细节以原文链接为准。
英国 AI Security Institute：BlogAI 评分3939 英国 AI Security Institute 的模型评估方法
英国 AI Security Institute 发布博客，介绍其模型评估工作的整体思路，包括为何开展这项评估、测试哪些内容、如何选择模型，以及近期的演示成果和未来工作计划。
英国 AI Security Institute：BlogAI 评分4646 英国 AI Security Institute 第三份进展报告：招募 DeepMind 与牛津负责人，新增 23 名研究员
英国 AI Security Institute 发布第三份进展报告，称自去年 10 月以来已招募来自 DeepMind 和牛津的负责人，并新增 23 名研究员。该机构还发布了《International Scientific Report on Advanced AI Safety》背后的原则，并已启动对先进 AI 系统的部署前测试。
OpenAI：官网动态AI 评分5454 OpenAI 构建 LLM 辅助生物威胁生成的早期预警评估方案
OpenAI 正在开发评估大语言模型可能协助制造生物威胁风险的蓝图。在一项包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁创建准确性的提升至多为轻度。该 uplift 幅度尚不足以得出结论，但可作为后续研究和社区讨论的起点。
OpenAI：官网动态AI 评分4141 OpenAI 民主输入 AI 资助计划：经验总结与实施计划
OpenAI 公布其"民主输入 AI"资助计划成果，已资助来自全球的 10 支团队设计集体治理 AI 的思路与工具。OpenAI 总结了这些创新与自身经验，并呼吁研究人员和工程师加入后续工作。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
EleutherAI：Blog 基于 Oracle 概念标签的最小二乘概念擦除
研究团队提出了一种基于最小二乘法的概念擦除方法，在推理阶段利用 Oracle 概念标签，实现了比 LEACE 更精准的概念编辑。该方法通过引入真实的概念标签作为监督信号，能够对神经网络内部表示进行更精细的干预，在保持模型其他功能的同时，实现了更精确的概念移除和表示编辑。
OpenAI：官网动态精选AI 评分6060 OpenAI 推出 Superalignment Fast Grants，投入 1000 万美元资助超人类 AI 对齐研究
OpenAI 推出 Superalignment Fast Grants，提供 1000 万美元资助超人类 AI 系统的对齐与安全技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
推荐理由：OpenAI 出资支持超人类 AI 对齐研究，给出了资助规模和方向清单，相关研究者可据此判断是否申请。
OpenAI：官网动态AI 评分5353 OpenAI 提出弱到强泛化的超对齐研究方向
OpenAI 提出面向超对齐（superalignment）的新研究方向：能否利用深度学习的泛化特性，用弱监督者来控制强模型，并给出了初步结果。
英国 AI Security Institute：Blog精选AI 评分7777 首届 AI Safety Summit 在 Bletchley Park 召开，各国领导人与头部企业认同先进 AI 风险与测试的重要性
2023 年 11 月 2 日，首届 AI Safety Summit 在 Bletchley Park 举行，英国首相办公室及科学、创新和技术部发布总结。世界领导人与头部公司一致认同先进 AI 风险的重要性以及测试的意义。
推荐理由：主办方官方总结首届峰会成果，读者可从中了解各方对先进 AI 风险与测试重要性达成的共识。
英国 AI Security Institute：BlogAI 评分3232 英国 AI Security Institute 第二份进展报告：招募 OpenAI 与 Humane Intelligence 负责人，研究团队规模扩大三倍
英国 AI Security Institute 发布第二份进展报告，自 9 月以来招募了来自 OpenAI 和 Humane Intelligence 的负责人，研究团队容量扩大三倍，并宣布 6 项新研究合作。该机构还协助建成了英国最快的超级计算机。
LMSYS Blog ToxicChat：真实用户-AI交互场景下的内容审核基准测试
研究团队发布ToxicChat基准测试，包含10,000条真实用户-AI对话数据，用于检测对话系统毒性内容。该数据集从Vicuna和Chatbot Arena平台采集，除常规有害内容外，特别标注了"越狱"诱导攻击样本。通过Perspective API与人工协作标注，团队在保持96.11%一致性的同时减少60%工作量。数据显示真实场景中毒性查询占7.22%，多采用隐含诱导而非直接脏话。该基准已在Hugging Face开源。
OpenAI：官网动态AI 评分5858 OpenAI 建设前沿风险防范体系并组建 Preparedness 团队
OpenAI 宣布为高能力 AI 系统的安全建立灾难性风险防范（Preparedness）方法，包括组建 Preparedness 团队并发起一项挑战赛。
EleutherAI：Blog 基础模型透明度指数如何扭曲透明度
由于提供的正文内容仅包含一句话"Evaluating transparency requires precision."，缺乏撰写100-200字摘要所需的必要信息（如具体发布内容、数据指标、关键变化等），无法完成符合要求的摘要撰写。请提供完整正文内容以便提取关键信息点。