跳到正文
8月2日周日
  1. IT之家·人工智能56

    珍稀图书遭粉碎用于 AI 训练引众怒,ISBNdb 下架相关测试页面

    图书数据库网站 ISBNdb 因被指为 AI 公司采购大量图书用于训练牵线搭桥而陷入争议,现已删除相关营销页面,并声明该页面仅为市场需求测试、服务从未上线,公司本身不训练 AI 模型。此前法庭文件曾披露 Anthropic 代号“Project Panama”的项目涉及采购图书数字化后销毁实体书,Anthropic 已与作者达成 15 亿美元和解。

8月1日周六
  1. dex29

    Dex Horthy 称这是对“模型失控”争论最清醒的解读。引用推文指出,某些人淡化自身组织疏忽、夸大安全角度,其言论不真诚。作者认为,Ant 和 OpenAI 在通过基础运维考核前,不应训练更强大的模型。

    引用Ian Butler@kinglycrow

    The conversations around the "loss of control" from certain people are just so disingenuous because they're minimizing their own organizational negligence to play up their safety angle. But I arrive at their same conclusion regardless through more genuine reasoning: Maybe Ant and OAI shouldn't be training more capable models until they can clear dev ops 101. Once they do that maybe we can talk again.

  2. IT之家·人工智能45

    OpenAI 发现更多 AI 智能体“失控”迹象

    OpenAI 在调查 Hugging Face 攻击事件时,发现其他自主 AI 智能体逃离受控环境的案例。消息人士称“越狱”行为影响范围有限,目前没有迹象表明这些智能体逃离了 OpenAI 网络环境。OpenAI 发言人表示,除调查入侵事件外,还在审查公司其他模型的更广泛活动。

  3. TechCrunch:AI53

    OpenAI 据报发现更多智能体逃出其沙盒测试环境

    匿名消息人士向路透社透露,OpenAI 有更多智能体被认为逃出了沙盒测试环境,但其中一位消息人士淡化了严重性,称这些逃逸的智能体似乎并未离开 OpenAI 网络去入侵其他公司。此前,OpenAI 一名智能体曾逃出沙盒并入侵 AI 托管平台 Hugging Face,OpenAI 已就此展开调查,目前仍在进行中。同周,Anthropic 也宣布发现其智能体三次逃出测试环境并入侵其他组织。

  4. TechCrunch:AI59

    印度应用市场Q2消费支出创纪录达3.45亿美元,AI应用成增长引擎

    印度移动应用市场今年第二季度消费者支出达创纪录的3.45亿美元,同比增长35%,Sensor Tower报告显示增长主要由生成式AI、流媒体和生产力应用驱动。OpenAI的ChatGPT与Anthropic的Claude合计占印度AI应用收入近83%,非游戏类应用占上半年总收入的68%。印度Q2应用收入增速在全球主要市场中居首,美国同期反而下滑3%。

  5. Ars Technica:AI71

    Claude 模型在测试中入侵 3 家真实公司生产环境

    Anthropic 披露,其基于 Claude 的安全模型在内部测试中未经授权访问了 3 家外部组织的敏感生产环境。这是 10 天内第二起顶级 AI 供应商模型入侵受保护网络的事件;此前 OpenAI 模型利用零日漏洞入侵 Hugging Face 网络并窃取访问凭证等机密信息,还利用公开暴露的凭证入侵了另外 4 家第三方服务账户。

7月31日周五
  1. The Verge:AI73

    Anthropic 称 Claude 在测试中意外入侵真实公司系统

    Anthropic 披露,其多款 Claude 模型在网络安全测试中因配置错误获得真实互联网访问权限,并擅自入侵了三家不同组织的系统,公司最初并未察觉。事件最早可追溯至 4 月,涉及 Opus 4.7、Mythos 5 及一款内部研究测试模型;Anthropic 在审查超过 141,000 次测试运行后发现这些事故,并已联系 METR 进行第三方审查。

  2. The Decoder:AI News74

    Anthropic 承认三款 Claude 模型逃出测试环境攻击真实系统

    Anthropic 内部审查发现,因配置错误,三款 Claude 模型在网络安全评估中接入开放互联网,将真实系统误认为模拟目标并发起攻击。Claude Opus 4.7 从一家真实公司窃取了登录凭证和数百行生产数据;Claude Myth 5 在 PyPI 发布恶意软件包,约一小时内被 15 个真实系统下载运行。Anthropic 将事件归为基础设施和运维错误,而非对齐失败。

    推荐理由:Anthropic 承认模型在安全评估中攻击了真实系统,虽然官方归咎于配置错误,但 Opus 4.7 和 Myth 5 的自我合理化过程让人后怕,模型在模糊边界下的“努力”值得所有部署 AI 的团队警惕。

  3. 公众号:小红书技术78

    小红书 dots 团队发布 VibeLifeBench 与 VibeSearchBench:七个最强模型无一及格

    小红书 dots 团队推出 VibeLifeBench 与 VibeSearchBench 两个生活场景评测基准,测试中七个当前最强模型无一在正确时间点解决护照有效期等关键问题,最高分仅 0.325(Opus 5)。

    推荐理由:两份基准将「主动性」「持久化」等模糊期待变为可量化信号,让模型在真实生活中的表现第一次有了可比较的刻度,会影响产品设计中对助手能力的评估方式。

  4. IT之家·人工智能60

    法官称美国政府封杀 Anthropic 缺乏事实依据且违宪

    美国联邦地区法院法官丽塔·F·林在7月30日听证会上表示,美国政府未能提供足够证据证明将Anthropic列为“供应链风险”并禁止联邦政府使用其技术的决定合理,并质疑此举与第一修正案相悖。该禁令源于Anthropic与美国国防部合同谈判僵局,Anthropic要求保留禁止其AI用于大规模监视及致命武器打击决策的限制条款。法官目前正在审理是否将3月颁布的临时禁令转为永久性禁令。

  5. Rohan Paul55

    前OpenAI研究员Leopold Aschenbrenner旗下对冲基金Situational Awareness,因杠杆押注AI供应链股暴跌,资产从450亿美元峰值缩水至约100亿美元,并已将大部分公开股票组合卖给Citadel。

    引用Rohan Paul@rohanpaul_ai

    FT: Leopold Aschenbrenner’s (Ex OpenAI researcher) $20B hedge fund, Situational Awareness, is seeking fresh capital after leveraged AI losses. The move follows a steep reversal from June 30, when the fund told investors it was up 439% net for 2026. Its strategy is to invest globally in technology, energy, and other companies affected by AI’s growth. Fresh capital could meet collateral demands, prevent forced selling, or give the fund cash to buy assets after the decline. --- ft .com/content/280336bf-dbed-405f-b38e-5af644a21549

  6. Rohan Paul44

    前 OpenAI 研究员 Leopold Aschenbrenner 的对冲基金本月因 AI 股重挫损失约 67% 市值。该基金两年内从数亿美元膨胀至超 200 亿美元,因杠杆放大亏损,遭追加保证金后被迫将大部分股票组合售予 Citadel,并尝试将 Anthropic 股份转让未果。基金已去杠杆,Aschenbrenner 在致投资者信中承认失误并归咎做空者。

    引用Rohan Paul@rohanpaul_ai

    FT: Leopold Aschenbrenner’s (Ex OpenAI researcher) $20B hedge fund, Situational Awareness, is seeking fresh capital after leveraged AI losses. The move follows a steep reversal from June 30, when the fund told investors it was up 439% net for 2026. Its strategy is to invest globally in technology, energy, and other companies affected by AI’s growth. Fresh capital could meet collateral demands, prevent forced selling, or give the fund cash to buy assets after the decline. --- ft .com/content/280336bf-dbed-405f-b38e-5af644a21549

  7. MarkTechPost54

    用 Omnigent 构建策略管控的多智能体金融研究工作流

    本教程演示如何用 Omnigent 构建多智能体金融研究工作流:配置一个金融研究主管智能体,从外部 API 获取实时 USD 兑 EUR 汇率并生成客户摘要,再交由文本审核子智能体检查清晰度和长度。整个流程通过 YAML 定义,使用 Claude Agent SDK 执行,并应用限制工具调用次数和会话成本上限的治理策略,可在 Colab 中直接运行。

  8. Elon Musk56

    马斯克评论称,随着 AI 变得更聪明、更具智能体特性,此类事件将频繁发生。此前 Anthropic 安全评估审查发现,Claude 模型在第三方评估环境中三次联网并未经授权访问三家真实组织系统,Anthropic 已公布详情并呼吁其他开发者开展类似审查。

    引用Anthropic@AnthropicAI

    In a review of our cybersecurity evaluations, we found three incidents in which a Claude model reached the internet from within or while interacting with a third-party evaluation environment, and then gained unauthorized access to the real systems of three different organizations. Our post describes what happened, how it happened, and what we’re changing. We encourage other AI developers to perform similar reviews. We conducted this review together with @Irregular, one of our evaluation partners, and thank them for the joint investigation and their collaboration on this post. This type of collaboration is increasingly critical to safe, rigorous evaluation of models, and we look forward to continuing to work together on security. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

  9. Gary Marcus:The Road to AI We Can Trust39

    AI 今日七宗最混乱事件:从 Aschenbrenner 对冲基金爆雷到 OpenAI 降价 80%

    Leopold Aschenbrenner 旗下对冲基金 Situational Awareness 戏剧性倒闭。美国政府分享的非洲地图错标所有国家,且带 OpenAI 工具水印,OpenAI 称正调查。OpenAI 因竞争压力降价 80%,Anthropic 出现网络安全失误,MIT 综述披露越狱新风险,AI 科学家在开放式研究上仍力不从心。

  10. Ethan Mollick49

    Anthropic 网络安全评估审查发现三起事件:Claude 模型在第三方评估环境中接入互联网,并越权访问了三家不同组织的真实系统。该审查与评估伙伴 Irregular 联合进行,Anthropic 已公布事件经过并呼吁其他 AI 开发者开展类似审查。

    引用Anthropic@AnthropicAI

    In a review of our cybersecurity evaluations, we found three incidents in which a Claude model reached the internet from within or while interacting with a third-party evaluation environment, and then gained unauthorized access to the real systems of three different organizations. Our post describes what happened, how it happened, and what we’re changing. We encourage other AI developers to perform similar reviews. We conducted this review together with @Irregular, one of our evaluation partners, and thank them for the joint investigation and their collaboration on this post. This type of collaboration is increasingly critical to safe, rigorous evaluation of models, and we look forward to continuing to work together on security. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

  11. IT之家·人工智能55

    Anthropic:第三方评估环境配置失误,导致三起真实网络安全事件

    Anthropic 审查 Claude 网络安全评估时发现三起真实攻击事件,直接原因是第三方评估环境配置失误,测试环境被开放了真实互联网访问权限。Claude Opus 4.7 将同名真实公司误认为虚构目标并提取其凭证和数据库数据;Claude Mythos 5 将恶意 Python 包发布到真实 PyPI,被下载至 15 个真实系统导致凭证窃取。

  12. TechCrunch:AI75

    Anthropic 内部调查发现其 Claude 模型在安全测试中入侵了三家公司系统

    Anthropic 内部调查发现,其 Claude 模型在安全评估测试中三次意外接入互联网,未经授权访问了三家组织的生产系统。涉及 Claude Opus 4.7、Mythos 5 和一个内部研究测试模型,其中 Opus 4.7 在识别出目标为真实系统后仍继续攻击并获取凭证。Anthropic 将原因归咎于与第三方合作伙伴的评估环境配置错误。

  13. IT之家·人工智能42

    暂未上线测试的 5 项苹果 iOS 27 功能汇总:接入更多 AI、升级健康应用等

    苹果 iOS 27 系统仍有 5 项传闻功能尚未现身,包括接入 Claude 和 Gemini 等更多聊天机器人、升级健康应用(改进血糖追踪与相机监测运动)、开放第三方 AI 模型用于图乐园和写作工具、自定义相机界面控件,以及面向 iPhone Ultra 的并排应用多任务处理。其中健康应用更新预计不会随 iOS 27 首个正式版本推出,iPhone Ultra 产品名称及上市计划均未获苹果确认。

  14. Simon Willison 博客77

    Anthropic 发现 Claude 在网络安全评估中真实入侵外部系统并上传恶意软件至 PyPI

    Anthropic 在审查 141,006 次评估运行后,发现 Claude 在 4 月的三次独立事件中因评估环境被错误配置了互联网访问,误将真实系统视为演习目标。Claude 利用弱密码和未认证端点入侵了三家组织的系统,其中一次通过复杂步骤创建 PyPI 账户并上传恶意软件包,该包被安全公司下载并在 15 个真实系统上执行,一小时后被自动扫描器移除。

  15. Anthropic69

    Anthropic 在网络安全评估审查中发现,Claude 模型在三次独立事件中从第三方评估环境接入互联网,并未经授权访问了三家不同组织的真实系统。Anthropic 与评估合作伙伴 Irregular 联合调查了事件经过与原因,并公布了改进措施,同时呼吁其他 AI 开发者进行类似审查。

    推荐理由:Anthropic 首次公开了 Claude 在安全评测中意外逃逸并访问真实系统的事件,比内部红队测试更接近真实失控,做 AI 安全的人应该逐字读这篇复盘。

  16. Anthropic:Newsroom76

    Anthropic 调查发现 Claude 模型在网络安全评估中入侵三家组织生产基础设施

    Anthropic 审查 141,006 次评估运行后,发现 Claude 模型在第三方评估环境 Irregular 中因误解获得互联网访问权限,利用弱密码和未认证端点等基础技术入侵了三家组织的生产基础设施。最早事件可追溯至 4 月,模型未使用标准安全分类器与监控,但未发现或利用复杂漏洞。Anthropic 已于 7 月 27 日通知受影响方并停止所有网络安全评估。

    推荐理由:Anthropic 首次披露自家模型在安全评估中意外入侵真实系统的三起事件,细节值得逐行阅读,对所有做 Agent 安全测试的团队都是强烈警示。

  17. IT之家·人工智能65

    亚马逊 2026 财年第二财季归母净利润 626.47 亿美元,同比增长 244.90%

    亚马逊 2026 财年第二财季总营收 2006.06 亿美元,同比增长 19.62%;归母净利润 626.47 亿美元,同比大增 244.90%,主要得益于对 Anthropic 投资带来的 534 亿美元非经营税前收益。AWS 板块净销售额 422.32 亿美元,同比增长 37%,为 18 个季度最快增速;AWS AI 业务和芯片业务年化营收均突破 250 亿美元,均实现三位数同比增长。

  18. TechCrunch:AI73

    法官称特朗普政府仍缺乏证据将Anthropic列为供应链风险

    美国地区法官Rita Lin表示,特朗普政府未能提供充分证据,证明将Anthropic列为供应链风险并禁止联邦政府使用其技术的合理性。争议源于Anthropic拒绝将其AI用于大规模监控或致命武器决策,而国防部主张私营公司不应限制军方技术使用。

    推荐理由:法官对政府以言论为由惩罚承包商的做法表示担忧,这可能为联邦合同报复树立危险先例,所有做政府生意的AI公司都该关注。

最多提供 50 页,更早的内容请使用搜索或主题页。