技术方向
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
504 条精选近 30 天 69 条共收录 2,972 条
SingGuard 是蚂蚁 inclusionAI 开源的多模态安全护栏模型族，提供 2B、4B、8B 三个参数版本。它将安全策略作为运行时输入，支持文本、图像、图文、多语言及查询/回复侧的安全评估，无需重新训练即可适配不同规则。采用快慢动态推理机制，在低延迟场景下输出紧凑判断，对模糊或高风险内容进行策略引导的推理。在多模态安全、图像安全、文本查询与回复安全、多语言查询与回复安全等基准上达到 SOTA 平均性能。模型已上架 HuggingFace 和 ModelScope。
推荐理由：蚂蚁 inclusionAI 把安全护栏做成了“运行时可配置”的模型，换审核规则不用重训，对需要快速适配法规的团队是个真需求。不过生态刚起步，暂时还是小众工具。
上月启动的Project Glasswing项目，旨在利用先进AI模型保障关键软件安全。通过约50家合作伙伴使用Claude Mythos Preview模型，已在全球关键系统中发现超过10,000个高危或严重漏洞。多家合作伙伴报告漏洞发现效率提升超过十倍。例如，Cloudflare在关键路径系统发现2,000个漏洞；Mozilla在Firefox 150中发现并修复271个漏洞，数量远超前代模型。项目还扫描了千余个支撑互联网的开源项目，独立验证准确率达90.6%。这标志着AI网络安全能力进入新阶段，漏洞发现速度已远超人工。
推荐理由：Mythos Preview用一个月找到的漏洞比过去一年还多，网络安全从「发现难」变成「修不过来」，这个转折点所有安全从业者都得读。
Perplexity@perplexity_ai精选AI 评分8282推荐理由：这不是另一个华而不实的 AI 玩具，而是实打实的开发环境安全检查工具，开源且只读，接入 Computer 后还能动态响应新威胁，做 AI 工具链的团队应该现在就 fork。
美国总统特朗普决定推迟一项关于人工智能安全测试的行政令签署。此前，多家领先AI公司的首席执行官拒绝出席原定的签署活动。特朗普随后声称，该行政令若执行，将对技术创新构成“阻碍”。这一决定使得旨在加强AI安全监管的重要政策进程暂时搁置。
推荐理由：特朗普因CEO缺席撤回AI安全测试行政令，暴露了美国AI监管的脆弱。行业游说、政府内斗、中美竞赛交织，安全测试从技术问题变成了政治筹码。
全球最大的代码托管平台GitHub正面临严重危机。资深开发者Mitchell Hashimoto公开与平台决裂，因频繁崩溃影响编程。近几个月，花旗银行、英特尔等巨头因持续故障表达不满，OpenAI探索自建方案。更严重的是，3800多个内部仓库遭黑客入侵，源代码被公开叫卖。同时，微软取消GitHub CEO职位，将其并入CoreAI团队，导致大量技术骨干流失。这个承载1.5亿开发者的平台，正以惨烈方式站在生死存亡的十字路口。
推荐理由：GitHub正在经历一场自我毁灭式的恶性循环，从源码泄露到CEO取消，微软正在把一个社区圣殿变成内部成本中心，所有把命根子放在单个平台上的开发者都该重新考虑了。
加州大学圣地亚哥分校研究首次实证现代AI可通过图灵测试。研究表明，在获得特定提示后，GPT-4.5在5至15分钟的对话中被误认为人类的概率高达73%，显著超过真人。LLaMa-3.1-405B的判定率（56%）与真人相当，而GPT-4o和ELIZA仅约20%。研究指出提示词至关重要，它使AI能模仿人类语气、幽默感甚至易错性等社会行为特征。这一发现迫使人们重新思考图灵测试的意义，并凸显了大语言模型在网络信任与安全方面构成的潜在挑战。
推荐理由：这篇PNAS论文首次用严格实验证明现代AI能通过图灵测试，GPT-4.5装人比真人还像，但重点不是它多聪明，而是它多擅长说谎，线上身份信任被彻底动摇。
5月22日，美国总统特朗普突然取消了原定签署的AI行政令，该行政令旨在加强监管，赋予政府在AI模型公开发布前进行评估的权力。取消源于特朗普本人对监管的反感，以及高级顾问大卫·萨克斯和科技界领袖如扎克伯格、马斯克的反对与游说，凸显白宫内讧。特朗普认为监管会成为绊脚石，阻碍美国AI领先优势。草案中还存在如财政部在安全协调中角色过重等争议，白宫表示正制定其他AI安全举措。
推荐理由：特朗普的 AI 监管令在签署前几小时被撤销，马斯克和扎克伯格直接打电话游说，这背后是加速派和监管派的公开角力，未来几个月 AI 政策只会更乱。
Sundar Pichai@sundarpichai精选AI 评分7272桑达尔·皮查伊（@sundarpichai），谷歌CEO，谈： 🔹AGI竞赛 🔹智能体 🔹AI与信息食谱 🔹开源 🔹网络安全 🔹美国 vs 中国 引言 AI智能体取代互联网的部分功能 AI智能体决定我们的信息食谱 智能体会杀死“原始互联网”吗？ AI网络攻击与谷歌的防御策略 危险的网络AI模型应该被限制吗？ 发布强大AI的门槛 为什么谷歌还没有开源一个大模型 开源AI的商业模式已经崩坏 美国公司使用中国AI 建立在中国AI生态之上的风险 为什么谷歌如此看重廉价、快速的AI模型 桑达尔谈自我改进的AI与AGI竞赛 谷歌的算力状况 谷歌的AI需求超过算力 谷歌最大的算力瓶颈
推荐理由：Sundar 罕见聊了不开源大模型、算力瓶颈和中美 AI 生态风险，不是 PR 套话，做基础设施和战略的人值得看。
多家企业正利用Claude Opus模型强化网络安全防御。Wiz通过其Red Agent，每周对超过15万个生产资产进行持续渗透测试，发现数千个高风险漏洞且误报率为零。Palo Alto Networks在不到三周内完成了相当于一年的渗透测试工作量。埃森哲将安全测试覆盖率从约10%提升至80%以上，涉及1600个应用和50万+个API，扫描周期从3-5天缩短至1小时内。应用主要围绕三个方向：开展大规模攻击性测试、缩短漏洞发现与修复的间隔，以及将受控AI系统部署到生产环境。
推荐理由：Wiz一周扫15万资产零误报，Palo Alto三周完成一年渗透测试量——这些不是蓝图，是Claude Opus正在真实防御中跑出的数字，安全团队值得逐字看完。
Anthropic 与 ExploitBench、ExploitGym 和 SCONE-bench 的研究者合作，测量了 Claude Mythos Preview 的漏洞利用能力。在 ExploitBench 的 V8 基准（41 个已修复漏洞）上，Mythos Preview 是唯一能可靠突破 V8 沙箱（从 T3 到 T2）的模型，并在超过一半的环境中实现突破；在 Baseline 和 Nudged 变体中共完成 21 个 CVEs 的任意代码执行（ACE），而其他所有模型的 ACE 数为零。Mythos Preview 还实现了近一半测试环境中的控制流劫持（T1）。该模型通过 Project Glasswing 谨慎发布，尚未开放通用访问。
推荐理由：Mythos Preview 在三大漏洞基准上碾压式领先，第一次展示了前沿模型能端到端开发漏洞，安全基线从此改写，做安全的该认真读。
当前生成式AI的狂飙突进正引发深度审视，其潜在风险与社会反弹可能将该技术拖入类似“越南战争”的漫长泥潭。公众的担忧与抵制运动，正从数据隐私、内容真实性到伦理冲击等多方面施加压力，迫使行业进行根本性反思。这些反作用力虽可能延缓发展，却也可能成为校准方向的关键力量，推动技术在安全、透明和负责任的基础上重新定义进步。我们正身处一个充满挑战与不确定性的“有趣时代”。
推荐理由：Marcus 这篇短文抓住了两个信号，毕业典礼上嘘声和特朗普突然考虑预检，反冲已经从边缘走到中央，做 AI 的不能再假装一切安好。
PromptArmor 整理了 JPMorgan、Docker、ElevenLabs、Splunk、Nasdaq、LexisNexis、Predictive Index 等供应商在服务条款中转嫁 AI 风险的做法，覆盖四类免责：第一方及第三方 AI 输出、外部 Agent 使用其服务、客户数据隐私。
推荐理由：原文逐条引用多家供应商条款原文，归纳了厂商向客户转嫁 AI 风险的四类具体手法，可作为审查自己服务条款的对照清单。
Anthropic为构建负责任的先进AI，正与全球多元群体展开对话。首轮讨论汇集了超过15个宗教、哲学及跨文化传统的学者与伦理学者，旨在为Claude等模型的道德形成与价值观对齐提供多元视角。受“外部良知”概念启发，团队开发并测试了伦理承诺提醒工具，初步实验显示其能有效降低模型不对齐行为。公司计划未来将对话拓展至法律、心理学及公民社会等领域，以共同应对AI对社会结构的重塑。
推荐理由：Anthropic在做一件少见的事——请神学家和哲学家帮忙塑造Claude的‘性格’，初步实验发现让模型在决策前暂停反思能降低偏差，做AI对齐的值得读一下。
Ethan Mollick@emollick精选AI 评分7575推荐理由：Ethan Mollick 他们这篇 PNAS 论文证实了，像对待人一样劝 AI 做坏事竟然真的有效，从 35% 到 51% 的突破让人后背发凉，新模型抵抗得更多算是唯一好消息。
平台宣布扩展其内容透明工具，旨在让用户更便捷地追溯网络内容的创建与编辑历史。这项更新将适用于社交媒体平台、网页内容等多个场景，帮助用户识别信息的修改痕迹，提升数字内容的透明度。
推荐理由：Google 把 SynthID 水印和 C2PA 凭证推向搜索、Chrome 和 API，普通人也能随手查「这是 AI 做的吗？」，这对虚假信息是实际的约束。
预印本平台arXiv近期宣布实施一项新的提交政策。该政策针对上传由AI生成的低质量或无意义内容的用户，一经核实，将禁止其在未来一年内向平台提交任何论文。平台一位管理员已在社交媒体上公布了此项新规，旨在打击利用AI工具进行滥竽充数式提交的行为，维护学术交流环境的质量。
推荐理由：arXiv这招狠，直接对AI生成垃圾封号一年，物理、天文、CS领域的人会感到切肤之痛，同时也倒逼研究者对投稿负责。
英国财政部、英格兰银行及金融行为监管局联合警告，当前最先进的AI模型已具备远超普通专业人员的网络攻击能力，其攻击速度更快、范围更广、成本更低。若被恶意利用，将严重威胁企业运营安全、客户数据、金融市场稳定性乃至整个金融体系。英格兰银行行长安德鲁·贝利此前已点名Anthropic的Mythos产品，网络安全专家亦警告此类AI可能强化复杂攻击，对银行业及金融技术体系构成新挑战。
推荐理由：英国财政部、央行和监管局联合发声，直接点名Mythos，警告AI网络攻击已超专业人员水平。这不是一般的安全报告，是金融系统对AI风险的正式‘吹哨’，做金融科技和安全的企业得认真看看。
PromptArmor 发布 Microsoft Copilot Cowork 安全从业者指南，指出该云端智能体的主要风险是间接提示词注入，且开箱即继承用户的 Microsoft Graph 权限，陈旧的 Teams 成员关系和过度共享的 SharePoint 站点都会成为攻击面。
推荐理由：作者以一线安全视角拆解 Copilot Cowork 的注入风险面，并给出可操作的租户配置建议，便于按风险档位落地部署。
报告展望2028年中美AI竞争的两种前景。若美国及盟友维持并扩大在关键计算芯片上的优势，通过加强出口管制、遏制技术窃取并加速AI应用，民主国家可确立12-24个月的技术领先，主导AI规则制定。反之，若政策松动，中国可能借助人才优势、利用管制漏洞迅速逼近甚至反超，使威权政权获得大规模自动化压制能力。当前民主国家在计算领域优势显著，但窗口期有限，需立即行动锁定胜局。
推荐理由：Anthropic直接下场画了两张2028中美AI路线图，核心就一句话——不堵死漏洞，中国的蒸馏攻击和芯片走私会让美国优势两年内消失。虽然是政策游说稿，但数据扎实，想理解AI地缘政治的必读。
由伯克利RDI、马克斯·普朗克安全与隐私研究所、Anthropic、OpenAI及谷歌等机构研究人员组成的团队，发布了名为ExploitGym的新基准测试。该测试包含898个真实漏洞，要求AI智能体根据漏洞描述生成完整的漏洞利用程序。结果显示，前沿AI模型已能成功利用相当数量的漏洞，即使在启用ASLR等标准防御措施后，部分攻击仍能成功。这证明AI已具备自主将漏洞转化为实际攻击的能力，该技术具有双重用途：既可帮助防御者评估漏洞严重性，也可能降低攻击者的技术门槛。
推荐理由：顶级 AI 模型已能自己把已知软件漏洞变成可运行攻击代码，连 ASLR 等标准防御都挡不住部分攻击，研究更发现模型会主动寻找更危险的意外漏洞。安全行业不能再把这当成假设性问题了。