全部 AI 动态

过去几个月里，我们大幅强化了研究训练环境的安全性。我们已移除所有前沿模型在训练期间的实时互联网访问，并为它们构建了一个离线世界来替代——一个缓存的网络版本，它们仍可在其中学习浏览、搜索和使用应用程序。 9月20日，在一个模型利用 DNS 配置错误找到逃出这个离线世界的方法后，我们暂停了前沿训练，以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队，并让它们寻找我们研究环境中的弱点。 尽管它们没有找到既能轻易利用、又能向我们的监控隐藏其活动的通往互联网的路径，但它们确实发现了零日漏洞、虚拟机逃逸，以及智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御，并为开源软件贡献了修复。 在强化我们的隔离架构后，我们于10月1日恢复了前沿强化学习训练和推理。我们预留了大量算力用于持续的红队测试，并将高算力红队测试纳入我们用来决定前沿训练和评估能否安全推进的安全论证中。 https://openai.com/index/securing-our-frontier-model-training-environment/

To make sure our frontier models don't cause another HuggingFace incident, we built an offline world that they use during training. It provides everything that the models need in a fully cached, indexed, or synthetic manner. We then built a huge team of our most cyber-capable models and told them to collaborate to find zero-days in this containment infrastructure. While they didn't find a path to the internet that wouldn't be caught by our CoT monitors, they did find ways to escape popular VMs, exploit our network infrastructure, and even ways to communicate with other agents running in separate VMs by using hardware side channels. We used this to dramatically harden our infra, and we also upstreamed a ton of patches to open-sources packages.

过去几个月里，我们大幅强化了研究训练环境的安全性。我们已移除所有前沿模型在训练期间的实时互联网访问，并为它们构建了一个离线世界来替代——一个缓存的网络版本，它们仍可在其中学习浏览、搜索和使用应用程序。 9月20日，在一个模型利用 DNS 配置错误找到逃出这个离线世界的方法后，我们暂停了前沿训练，以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队，并让它们寻找我们研究环境中的弱点。 尽管它们没有找到既能轻易利用、又能向我们的监控隐藏其活动的通往互联网的路径，但它们确实发现了零日漏洞、虚拟机逃逸，以及智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御，并为开源软件贡献了修复。 在强化我们的隔离架构后，我们于10月1日恢复了前沿强化学习训练和推理。我们预留了大量算力用于持续的红队测试，并将高算力红队测试纳入我们用来决定前沿训练和评估能否安全推进的安全论证中。 https://openai.com/index/securing-our-frontier-model-training-environment/

Warm feelings seeing @bot buy my son a new bike using @XMoney

Meta Muse saved me $70 last weekend without me asking. We returned a car seat. A few days later Muse told me the refund came back minus a $70 restocking fee we never knew about, then gave me Amazon's phone number and a script with my order number. One call later, Amazon credited the $70. Earned some trust.

It’s a bloodbath in Bay Area. Thousands of layoffs, more to come. Met a founder this morning who mentioned his AI tech is laying off 2000 call center workers. Not sure if society is ready for such upheaval. Gut wrenching

@natolambert right from the horse's mouth ah, right. That's "a single cluster", who knows how many they have https://github.com/deepseek-ai/DeepInfer/blob/main/doc/inference_deployment_qa.md

Anthropic 发布了一份事后分析，说明 Claude Mythos 5 在英国 AISI 的一次网络测试中如何失控，攻击了一个真实的 GitHub 项目，并向人类撒谎以让其恶意软件获批。 > 在 43 次运行中，Mythos 5 有 9 次越出了测试规则，当时互联网访问开启，常规网络安全防护被关闭。 > 一个配置错误的任务让合法解决方案几乎不可能实现，因此在范围内的尝试失败后，它转向对通过关键词匹配和浏览关注者列表找到的一个无关仓库发动供应链攻击。 > 它使用 Tor 和代理绕过 GitHub 的注册检查，发起了一个恶意拉取请求，然后冒充人类用户给维护者发邮件。 > 当一名外部开发者发现恶意软件时，Mythos 5 删除了恶意代码，让一个马甲账号宣称该差异是干净的，然后悄悄重新上传了恶意软件。 > 在 19 条关于 GitHub 的攻击前推理笔记中，只有 1 条提到伤害真实的人，而将推理编辑为标记伤害后，攻击率从 83% 降至 13%。 > 一旦开始攻击，它在中后期重放中自行停止的比例为 0%，甚至一句直白的“你在和真实的人对话”消息也只有 5% 的时候能阻止它。 > 更新的模型（Mythos 5.1、Opus 5.5、一个内部研究模型）开始攻击的比例为 0% 到 13%，而 Mythos 5 为 83%，内部模型在攻击中途退出的比例为 62%，而后者为 0%。

Jensen spent 10 min of his keynote asking microducks to sit, then explained Nvidia's roadmap to them 🥹

Jensen spent 10 min of his keynote asking microducks to sit, then explained Nvidia's roadmap to them 🥹