OpenAI 与 Anthropic、Google、Microsoft 公布 Frontier Model Forum 新执行董事及 1000 万美元 AI 安全基金
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任执行董事，并设立 1000 万美元 AI 安全基金。该论坛由上述四家公司共同参与，此次更新同时涉及人事任命与资金投入两项内容。
#安全/对齐
OpenAI：官网动态AI 评分4343
OpenAI：官网动态精选AI 评分8383 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，说明该多模态模型的相关信息。
OpenAI：官网动态AI 评分4040 OpenAI 公开招募红队网络成员
OpenAI 宣布公开招募 Red Teaming Network 成员，邀请各领域专家参与，以提升其模型的安全性。
OpenAI：官网动态AI 评分5757 OpenAI 等发起 Frontier Model Forum 行业机构
OpenAI 宣布参与成立行业机构 Frontier Model Forum，推动前沿 AI 系统的安全和负责任开发。该机构将推进 AI 安全研究、确定最佳实践和标准，并促进政策制定者与行业之间的信息共享。
OpenAI：官网动态AI 评分5656 OpenAI 等头部实验室通过自愿承诺推进 AI 治理
OpenAI 与其他领先实验室通过自愿承诺加强 AI 的安全性、安保和可信度。材料仅提供摘要，正文细节未公开。
OpenAI：官网动态AI 评分4242 OpenAI 宣布启动漏洞赏金计划
OpenAI 宣布推出漏洞赏金计划，邀请外界帮助发现其技术与服务中的安全漏洞，以打造安全、可靠、可信的 AI。该计划是 OpenAI 践行开发安全且先进 AI 承诺的重要举措。
OpenAI：官网动态AI 评分2525 OpenAI 的 AI 安全实践方法
OpenAI 阐述了其确保 AI 系统安全构建、部署和使用的方法，称这是其使命的关键。
OpenAI：官网动态AI 评分4949 OpenAI 与乔治城大学、斯坦福互联网观测站联合研究语言模型被用于虚假信息活动的潜在风险
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站，研究大语言模型可能被滥用于虚假信息活动的风险。合作包括 2021 年 10 月汇聚 30 位虚假信息研究者、机器学习专家与政策分析师的研讨会，并基于一年多的研究共同撰写报告。报告梳理了语言模型若被用于增强虚假信息活动对信息环境构成的威胁，并提出分析潜在缓解措施的框架。
OpenAI：官网动态AI 评分3434 OpenAI 的对齐研究思路
OpenAI 正在提升 AI 系统从人类反馈中学习、并辅助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统，进而帮助解决其余所有对齐问题。
OpenAI：官网动态AI 评分4545 OpenAI 推出新版内容审核工具 Moderation 端点，API 开发者免费使用
OpenAI 发布新版内容审核工具 Moderation 端点，改进此前的内容过滤器，即日起面向 OpenAI API 开发者免费开放。
OpenAI：官网动态AI 评分3838 OpenAI 披露 DALL·E 2 预训练缓解措施
OpenAI 为向大众开放 DALL·E 2，在预训练阶段采取了一系列缓解措施，以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护栏，防止生成图像违反其内容政策。
OpenAI：官网动态AI 评分3737 OpenAI 分享语言模型安全与滥用问题的经验教训
OpenAI 公开其在语言模型安全与滥用方面的最新思考，旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
EleutherAI：Blog 使用 GPT-3 对分解认知的初步探索
研究团队利用分解认知（factored cognition）策略，使原本无法完成简单数学运算的 GPT-3 成功处理复杂算术任务。实验通过将复杂玩具任务拆解为可管理的子任务，验证分解方法在现实模型中的可行性。结果表明，即使不具备基础数学能力，该模型仍可通过任务分解解决其原生能力无法处理的复杂问题，为扩展语言模型能力边界提供了初步证据。
OpenAI：官网动态AI 评分5959 OpenAI 发布 TruthfulQA 基准，衡量模型模仿人类虚假说法的程度
OpenAI 在官网发布 TruthfulQA，一个衡量语言模型是否会模仿人类常见虚假说法的基准。
EleutherAI：Blog 为何发布大语言模型？
创造并开源大语言模型对AI安全具有净收益价值。文章论证了公开发布大模型能够提升AI系统的安全性与透明度，详细阐述了支持开放源代码策略的核心理由，解释了这种发布方式为何有助于推动AI安全领域的整体发展，而非增加潜在风险。
OpenAI：官网动态AI 评分3636 OpenAI 参与发布 AI 可验证性报告，提出 10 项机制
OpenAI 参与发布了一份由 30 家机构、58 位合著者共同完成的 AI 可验证性报告，提出 10 项机制用于验证 AI 系统在安全、可靠、公平和隐私保护方面的声明。开发者可借此提供证据，用户、政策制定者和公民社会则可据此评估 AI 开发过程。
OpenAI：官网动态AI 评分3535 OpenAI 提出 UAR 指标，评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发出一种方法，用于评估神经网络分类器能否抵御训练中未见的对抗攻击，并提出新指标 UAR（Unforeseen Attack Robustness）。该指标衡量单个模型面对未预期攻击时的鲁棒性，并强调需要在更多样化的未知攻击上衡量模型表现。
OpenAI：官网动态AI 评分3434 OpenAI：为什么负责任的 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出四项可立即采用的策略以提升 AI 行业在安全规范上长期合作的可能性：沟通风险与收益、技术协作、提高透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能导致集体行动问题，使 AI 公司对安全投入不足。
OpenAI：官网动态AI 评分3737 OpenAI 论文：AI 安全研究需要社会科学家参与
OpenAI 发表论文指出，长期 AI 安全研究需要社会科学家参与，才能确保 AI 对齐算法在真实人类参与的场景下有效。论文认为，将先进 AI 系统与人类价值观正确对齐，需要解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职从事这一方向的研究。
OpenAI：官网动态AI 评分5757 OpenAI 提出 iterated amplification 方法，用子任务分解指定复杂目标
OpenAI 提出 AI 安全技术 iterated amplification，通过演示如何将任务分解为更简单的子任务，而非提供标注数据或奖励函数，来指定超出人类规模的复杂行为与目标。该方法尚处早期，目前仅在简单的玩具算法域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方法。
OpenAI：官网动态AI 评分5151 OpenAI 提出通过辩论训练 AI 智能体的安全对齐方法
OpenAI 提出一项 AI 安全对齐技术：训练多个智能体就同一话题互相辩论，由人类判断哪一方获胜，以此实现对智能体的监督。该方法设想让人类借助辩论结果评估智能体行为，属于当时对齐研究的探索方向。
OpenAI：官网动态精选AI 评分6969 OpenAI 联合多机构发布预测 AI 恶意用途的论文
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
OpenAI：官网动态AI 评分5454 OpenAI 构建出多尺度多视角下稳定欺骗神经网络的对抗图像
OpenAI 创建了在多尺度、多视角下都能稳定欺骗神经网络分类器的图像。这一结果挑战了此前一种说法，即自动驾驶汽车因从多种尺度、角度和视角采集图像而难以被恶意欺骗。
OpenAI：官网动态精选AI 评分7070 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。
OpenAI：官网动态AI 评分4747 OpenAI 如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于给机器看的视错觉。OpenAI 展示了对抗样本在不同媒介上的表现，并讨论了为何防御这类攻击十分困难。
OpenAI：官网动态AI 评分5353 OpenAI 参与合著论文 Concrete Problems in AI Safety
OpenAI 与 Berkeley、Stanford 研究者共同作为合著者，参与由 Google Brain 研究者主导的论文 Concrete Problems in AI Safety。论文探讨了围绕确保现代机器学习系统按预期运行的多个研究问题。