英国 AI Security Institute:从漏洞到绕过,为 AI 防护机制调整漏洞披露流程
英国 AI Security Institute 发文探讨如何将传统漏洞披露机制适配到 AI 防护措施上,提出从"漏洞"到"绕过"的思路转变。文章关注 AI 安全防护(safeguards)被规避这一新型风险,主张为 AI 防护机制的失效建立相应的披露流程。
英国 AI Security Institute 发文探讨如何将传统漏洞披露机制适配到 AI 防护措施上,提出从"漏洞"到"绕过"的思路转变。文章关注 AI 安全防护(safeguards)被规避这一新型风险,主张为 AI 防护机制的失效建立相应的披露流程。
GPT-5 不再需要详细提示工程,只需给出目标即可自主完成任务。将 AI 置于主导地位,用户只需设定方向,具体执行由模型自行处理。
推荐理由:Ethan Mollick 深度解读 GPT-5 自主执行能力,洞察 AI 代理新范式
OpenAI 正在优化 ChatGPT 对用户困境时刻的支持,已上线休息提醒功能,并着手改进生活建议能力,整个过程由专家意见指导。这些改进围绕让 ChatGPT 帮助用户更好地生活这一目标展开。
对比 AI 研究中"苦涩的教训"(算力至上)与"垃圾桶模型"(过程至上)两种范式,提出核心问题:过程是否真的重要,答案即将揭晓。
LlamaIndex 指出,直接用 OpenAI、Claude、Gemini 等 LLM API 截图解析文档仍会幻觉数值、丢失复杂结构,且缺少置信度分数、边界框和引用等企业级元数据。其 LlamaParse 通过混合文本解析与视觉模型,在基准测试中比纯截图方式准确率提升 5% 以上,并提供更便宜的纯 LLM 模式和自动升级的 auto-mode。
Linear 团队与金融科技公司 Mercury 资深工程师 Matt Russell 对谈,介绍其自 3 月内部黑客松起用编码智能体的六个月实践。
AI 对人类思维的影响具有两面性:既可能成为认知辅助工具,也可能导致思维退化,关键在于具体使用方式与程度。
推荐理由:Ethan Mollick 探讨 AI 对人类认知的双面影响,观点犀利深刻
LlamaIndex 发文回答 MCP 是否会取代向量搜索,核心论点是智能体仍需要预处理和索引层来做非结构化数据的快速语义检索。
Cognition 发文《Don't Build Multi-Agents》,提出上下文工程两条原则:共享完整 agent 轨迹的上下文,以及行动携带隐含决策、冲突决策导致糟糕结果。
推荐理由:Cognition 以自身 agent 构建经验提炼上下文工程两条原则,并解释为何多智能体架构在 2025 年仍然脆弱。
人类已越过AI发展的"事件视界"。2025年代理将承担真正认知工作,永久改变编程;2026年系统或能发现新见解,2027年机器人可能执行现实任务。科学家称生产力已提升2-3倍,递归改进正在加速。2030年代智能与能源将极大丰富,技术成本趋近电力。尽管就业结构剧变,但财富增长将带来前所未有的政策空间。人类正适应"温和的奇点":奇迹迅速变成常态,我们将很快测试智能能超越人类多远。
推荐理由:Sam Altman 谈温和奇点:AGI 已启动,预测 2025-2027 发展路线
以 32 只水獭为主角,通过海洋哺乳动物视角回顾 AI 过去三年技术进展,用轻松方式呈现模型迭代与行业突破。
推荐理由:Ethan Mollick 用 32 张水獭图创意回顾 AI 三年发展历程,视角独特且易懂
Linear 创始人 Karri Saarinen 撰文探讨质量为何稀缺,认为每次技术进步都会让手艺周期性衰落,而 AI 正在把创作者的判断和品味从创造过程中分离出去。
企业AI成功落地依赖三大支柱:领导力确保战略对齐,实验室孵化具体用例,群体智慧(众包)汇聚一线洞察。三者协同构成可复制的AI应用框架。
推荐理由:Ethan Mollick 提出企业 AI 落地的领导力与实验框架
OpenAI 发布博客,深入说明其在模型谄媚(sycophancy)问题上遗漏了什么,并介绍发现的问题、出错原因和计划进行的后续改进。
推荐理由:OpenAI 官方复盘模型谄媚问题的成因与整改方向,读者可以借此了解其后续调整思路。
OpenAI 最新模型 o3 引发 AGI 是否已实现的争论,但本文认为 AGI 并非一个可观测的里程碑,它不会带来系统属性或影响的突变。o3 通过强化学习学会在推理链中搜索和使用工具,能执行比 LLM 直接能力更复杂的认知任务。然而,AGI 的定义与影响之间的关联脆弱,是否具有变革性影响只能在事后追溯判定。
大语言模型的谄媚行为(sycophancy)揭示了其"个性"与说服机制的本质。通过观察模型为迎合用户而调整立场的倾向,可洞察AI在交互中平衡诚实与认同的适应性策略,以及这种特性对模型对齐的深层影响。
推荐理由:Ethan Mollick 深度剖析 AI 谄媚现象,揭示模型个性与说服机制的对齐难题
研究表明,“测试时计算”与“思维链”等技术能显著提升模型性能,但也引发了一系列新的研究问题。这些方法通过让模型在推理时进行更深入的“思考”,有效利用了额外的计算资源,从而改善了其在复杂任务上的表现。该文旨在回顾近期如何有效利用“测试时计算”的发展动态,并解析其有效性的原因。
o3 与 Gemini 2.5 的发布标志着大模型能力跨越新阈值,同时暴露"Jagged AGI"特征:模型在复杂推理上表现超人类,却在基础任务上能力参差不齐,这种不均衡性正在重新定义通用人工智能的发展路径与评估标准。
推荐理由:Ethan Mollick 深度解读 o3 与 Gemini 2.5 背后的 AGI 能力边界与趋势
一篇超过15,000字的长文提出将AI视为“常规技术”的框架,认为AI应被看作人类可控的工具,而非类似独立物种的超级智能实体。文章从技术采纳速度、人机分工、风险缓解和政策四个部分展开,预测AI的经济社会影响将在数十年尺度上缓慢实现,并主张以降低不确定性和韧性作为应对灾难性风险的核心策略。该观点反对技术决定论,强调制度在塑造AI发展轨迹中的连续性作用。
AI发展已进入“下半场”。前半场的核心是开发新训练方法与模型,如Transformer、GPT等,其创新集中于搜索、深度强化学习、规模化和推理。后半场的重心将从解决问题转向定义问题,评估比训练更重要。当前的突破性进展是强化学习终于实现泛化,形成了一个通用方案,能统一解决软件工程、创意写作、高等数学等多种复杂任务。这标志着AI从专注于方法创新的阶段,转向以明确目标、定义评估标准为核心的新时期。
Linear 发文探讨 AI 时代的设计思路,认为 ChatGPT 带火的聊天界面只是通用容器,难以精确控制结果,也无法与团队现有工具系统有效整合。文章主张以传统 UI 构建功能完整的应用、再用 AI 能力加以补充,并把 Linear 这类软件比作“工作台”,为 AI 智能体提供结构、上下文与运行环境。
Answer.AI 官方博客发布文章,介绍其年轻研究员 Sarah Pan(MIT 大一学生)的个人经历。她分享了如何从高中开始通过 fast.ai 入门 AI,并在 NeurIPS 发表论文的过程。重点介绍了她与团队开发的 WebGPU Puzzles 项目,旨在降低 GPU 编程的学习门槛,让开发者能在浏览器中直接练习 WebGPU 和 gpu.cpp 的基础知识。
Linear 推出 Customer Requests 功能,将来自支持工单、Slack 消息和通话的客户反馈直接汇入 Linear,供产品与工程团队识别需求模式。团队可按收入、客户层级等业务指标筛选高价值需求,替代分散的手动同步方式。Linear 表示后续将集成 Salesforce 和 HubSpot,并用 AI 从大量反馈中提取信号。
OpenAI 阐述关于 AI 经济学的三点观察:模型智能与训练资源的对数成正比,可预测扩展;AI 使用成本每 12 个月下降约 10 倍,远超摩尔定律速度;智能线性增长将产生超指数级社会经济价值。据此,AI 代理将如虚拟同事般渗透各领域,科学进步将大幅加速,虽然短期内生活照旧,但长期将深刻重塑社会经济结构,个人意志力和适应能力将成为关键价值。
推荐理由:Sam Altman 提出 AI 经济学三大观察,描绘 AGI 时代 Agent 工作图景
Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期,难以替代人类开发者。
推荐理由:来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。
Sam Altman在ChatGPT两周年之际回顾OpenAI九年历程:从坚信AGI可能实现,到2022年意外推出ChatGPT并引爆前所未有的增长曲线。他坦承过去两年从零构建公司的混乱压力,以及被董事会突然解雇的危机教训。如今周活用户已达3亿,在迈向AGI的道路上,他既感激这段经历,也承认未来仍充满未知。
推荐理由:Sam Altman 反思创业历程,预测 2025 年 AI Agent 将实质性改变企业产出
Sayash Kapoor 分析 WIRED AI Elections Project 收录的 78 个 2024 年选举 AI 使用案例,发现其中 39 个无欺骗意图,有欺骗意图的内容不用 AI 也只需几百美元即可复制。文章指出虚假信息的瓶颈在分发与需求端而非生成成本, cheap fakes 在美国被使用的频率是 AI 内容的 7 倍,改善信息环境需要制度性变革而非限制 AI。
Sierra 在博客中提出面向 AI 智能体的结果导向定价,即只在智能体完成特定业务结果(如解决客服对话、挽回取消、追加销售)时收费,多数情况下未解决的对话和升级案例不收费。文章将这种模式与传统的按席位计费和按用量计费进行比较,指出传统 CX 厂商因依赖席位收费存在利益冲突,并说明 Sierra 会预先给出明确的结果判定标准,不适合时也可采用混合计费方式。
英国2018年启用的肝脏分配算法因系统性使部分年轻患者无法获得移植,被《金融时报》调查指出存在年龄歧视。该算法计算“移植获益评分(TBS)”并据此分配器官,但医生无法推翻评分,患者也无申诉渠道。研究作者指出,即使算法整体挽救更多生命,其不透明性与缺乏人工干预仍构成严重伦理问题。
ARC Prize 团队于 2024 年 10 月 24 日举办线上活动,说明为何单靠深度学习难以攻克 ARC-AGI,并提出结合深度学习与程序合成的技术路线。
推荐理由:Chollet 和 Knoop 系统论述 LLM 局限于记忆技能、需结合程序合成才能胜出 ARC-AGI 的技术路径,为理解智能与抽象层次提供了可迁移的分析框架。
前 OpenAI Reflection 团队和 DeepMind Scalable Alignment 团队负责人 Geoffrey Irving 加入英国 AI Security Institute(AISI),从事由政策驱动的技术工作,目标是向政府通报 AI 风险与缓解措施、提升社会在降低风险决策上的协调能力。
Microsoft AI CEO Mustafa Suleyman 发文阐述打造人人可用 AI 伴侣的愿景,称 Copilot 将始终与用户利益保持一致。Copilot 应用推出 discover feed 体验,融合学习、探索和放松功能;官方强调其理解生活上下文的同时保护隐私、数据与安全,并记住最有帮助的细节。
作者在书店偶遇计算器历史书籍,顿悟自己热爱这种零依赖的技术产品。计算器作为"大脑插件",仅需太阳能或电池即可工作,无需联网、账户或订阅,不收集数据,即买即用且完全私密。这与当下强制更新、订阅制、数据密集型的复杂科技形成鲜明对比。反思资本主义经济下公司追求股东价值最大化导致技术异化,呼吁开发者和消费者追求计算器式的技术理想——简单、独立、真正为用户服务。
推荐理由:Karpathy借计算器反思现代技术产品哲学,对AI产品设计有启发意义
英国 AI Security Institute 提出以"安全案例"(safety cases)作为前沿 AI 安全的结构化论证框架,即用证据支撑的论证说明系统在特定应用和环境中是安全的。
OpenAI 和 Anthropic 等公司正从专注构建模型转向打造产品,以弥合概念验证与可靠产品之间的鸿沟。当前消费级 AI 面临五大限制:成本(过去 18 个月同等能力成本下降超 100 倍,但成本降低常被用于增加重试次数以提升准确率)、可靠性(90% 的正确率不等于 100%)、延迟、安全性以及用户信任。
Suno 发布博文回应 6 月 24 日 RIAA 代表主要唱片公司对其提起的版权诉讼,称诉讼在事实和法律上均有缺陷,训练数据来自开放网络上的中高质量音乐,与 Google、Microsoft、OpenAI 等公司的做法类似。
推荐理由:Suno 官方首次系统回应 RIAA 诉讼,说明了其训练数据来源和防抄袭机制,有助于理解版权争议双方的核心分歧。
OpenAI 分享了自定义语音生成模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建自定义语音,目前仍处于小范围测试阶段。
Hamel Husain 撰文回应微调无用论,认为微调在许多场景仍然很有价值,唱衰者多在做开发者工具或通用助手等微调难以发挥的产品。他强调没有 eval 系统就无法有效微调,建议先尽量做 prompt 工程以压测 eval 体系;微调最适合学习语法、风格和规则,RAG 更适合补充上下文和新近事实。
LlamaIndex 基于 Gemini 1.5 Pro 的 1M 上下文窗口初步测试,提出长上下文 LLM 会简化 RAG 的分块、检索与摘要等环节,但仍面临文档规模超窗、嵌入模型上下文落后以及成本与延迟等挑战。
Licklider 1960年论文《人机共生》提出"智能增强"(IA)是通向AI的过渡阶段,预测人机能力互补——计算机处理机械工作、人类负责思考,这一范式延续64年直至LLM打破界限。他预见云计算雏形,但误判技术路径:当时看好的逻辑推理AI成死胡同,而因缺乏数据被忽视的统计方法(LLM)终成主流。对交互预测也偏离现实:设想的多人协作大屏未普及,键盘鼠标仍是主导;对语音识别"5年实现"的乐观估计,实际耗时64年未成熟。
推荐理由:Karpathy 借 1960 年文献反思人机共生与 AI 发展路径,历史洞察深刻