跳到正文
今天10月25日周日28 条
  1. Dongxi 东锡 NLP33

    支持@ShoufaChen 发声,让更多人了解真相!

    引用ShoufaChen@ShoufaChen

    [1/n] 作为这场训练“投毒”事件最直接的受害者,2024年那几个月漫长的训练排查、对峙与质疑,对我而言是一段炼狱般的经历,也是一场对意志和技术的锤炼。 感谢好友们最艰难的时候支持陪伴。也感谢当时所有并肩作战的同事们。

  2. Rohan Paul47

    比尔·盖茨在 Decoder 播客中称,AI 已把原本掌握在民族国家手中的大规模伤害能力交到独立团体手里,网络攻击出于牟利、生物领域则可能只为造成破坏。他批评目前对模型没有强制审查,也未建立防护措施。他主张对具备高级网络攻击能力的模型立法要求保留防护与监控,开发者可免费使用和定制,但只能在能检测并拒绝移除防护的认证平台上运行。

    引用Rohan Paul@rohanpaul_ai

    Bill Gates wants powerful open-weight models to run only where the government says they can. For any model capable of sophisticated cyber attacks, he wants safeguards and monitoring kept in by law. Developers could still use these models for free and customize them, but only on certified platforms that detect and refuse any attempt to strip out the safeguards. ---- Full video on "Decoder with Nilay Patel (@reckless) and The Verge" YouTube channel, (link in comment)

  3. meng shao67

    Nathan Lambert 在哈佛 CS 2881R「AI 安全」客座讲座视频发布,全景梳理开源模型现状,认为开源落后闭源前沿约 3 到 5 个月,中国开源在性能、下载量、论文引用三方面全面领先,美国开源又落后中国 3 到 4 个月。

    引用meng shao@shao__meng

    Nathan Lambert 哈佛讲座:开源模型现状全景,中国开源全面领先,但美国有 10 倍以上的算力优势;蒸馏不是关键问题 @natolambert 在哈佛大学 CS 2881R「AI 安全」的客座讲座,他认为:开源模型落后闭源前沿大约 3 到 5 个月,差距还在缩小。性能、下载量、论文引用这三方面,中国开源模型全面领先,美国开源模型又比中国落后 3 到 4 个月。核心判断有三点:把"蒸馏"当成核心问题是高估了;美国真正持久的优势是算力;禁止开源只会损害经济活动,挡不住坏人。 https://natolambert.com/slides/2026/harvard/lecture.html 什么是开源模型,许可证是关键 · 开源是一个光谱:从只开放权重(Llama、Qwen、DeepSeek、Kimi、GLM),到连数据和代码都开放的完全开源(OLMo、Pythia、SmolLM、Marin),Nemotron 处在中间。 · 宽松许可证:MIT(DeepSeek、GLM-5.2、MiMo),Apache 2.0(Qwen、gpt-oss、Gemma 4)。 · 自定义许可证带附加条件,并不算开源:营收门槛(Kimi K3、Muse Spark Open、MiniMax M3 的年营收门槛是 2000 万美元,GLM-5.3 超过 100 亿美元要做安全审查)、品牌露出要求、使用限制。这些条款大多还没有在法庭上检验过。 为什么要开源 支持开源的力量来自几个方向:资本(把互补品变成廉价商品)、科研和教育、防止权力集中、自由。按 Bill Gurley 的说法,开源也是"第二名的自然选择",用来抢市场和分发渠道、获得软实力。中国实验室集体走向开源,是为了在西方 AI 圈获得存在感;DeepSeek R1 之后,小米、美团、蚂蚁等也纷纷入场。企业用开源模型来"拥有自己的模型",例如 Harvey 在 Kimi K3 上做法律方向的后训练,全部通过率接近翻倍,成本基本不变。 竞争力 · 2026 年,1T 参数以下就算"小模型"了。新近的强模型:小米 MiMo-V2.6-Pro(总参数 1T、激活 42B,Artificial Analysis 指数 46)、DeepSeek V4.1 Flash(763B,45)、MiniMax M3.1 Flash(42,第三方测评低于官方宣传)。 · 关于"刷榜":中国模型确实更看重公开榜单,长尾能力也不如美国模型全面。但他花了半年时间,也没找到能证明头部开源模型(Kimi、GLM、DeepSeek)有明显缺陷的分析。 · 开源模型依然锚定着性价比的最优区间,不过闭源厂商现在也开始在这个区间竞争。 蒸馏之争(全篇最有观点的部分) · 训练分三个阶段:预训练、中期训练和 SFT、强化学习。蒸馏主要发生在 SFT 阶段,而现在强化学习消耗的算力已经超过预训练。 · 现在说的"蒸馏"其实是对抗性蒸馏:想办法从 API 里套取被隐藏的推理过程。中国不少实验室有专门的团队做这件事。 · 他认为不值得把它当成焦点:公开研究并没有显示用推理过程做 SFT 能带来巨大提升;没有好的政策手段可以只针对中国而不伤害全球开源生态;中国实验室本身就很强,"快速跟进"本来就比开拓前沿省算力。小米公开直播了 MiMo-V2.6 的强化学习训练(约 150 万次 rollout,花费 347 万美元),就是不只依赖蒸馏的证据。 · 真正持久的优势是算力:美国前五家实验室的总算力平均是中国前五家的 16 倍;到 2026 年底,Anthropic 和 OpenAI 各有 5 GW 以上的算力,而中国头部实验室最多只有 100 到 200 MW。 使用情况 开源模型的推理量快速增长,本地模型下载在加速;Hugging Face 日均独立用户约 60 万。性能相近时,美国模型的采用量是中国模型的 2 到 5 倍,说明市场对美国开源模型有需求。他扫描了 37 万篇 arXiv 论文,Qwen 被提到的次数已经接近 OpenAI 的 GPT。总结是:性能、下载、科研三方面中国都领先,推理和后训练市场也主要是中国模型。 风险与治理 · AI 驱动的网络攻击已经真实发生,而目前公开的案例主要是闭源模型(Claude Code、Codex)被滥用。 · 想禁止开源模型,在现实中做不到(美国不可能建起有效的"防火墙"),而且十多家实验室都能在前沿一年左右的水平上训练模型,结果只会抑制经济活动。不少关于开源风险的说法被夸大了(比如虚假信息),但深度伪造这类风险确实被加速了。 · 建议:发布方按每个模型评估它带来的"额外风险",并由国家统一风险标准,而不是让各家公司自己判断。开源模型对网络防御非常关键,因为公司的受信任访问项目没法覆盖整个经济。

  4. dex68

    HumanLayer 的 Dex Horthy 评论 Anthropic 建议企业移除不必要的 subagent,认为单一智能体配合 skills 常能胜过复杂多智能体系统,有客户执行速度约提升 2x。他指出 subagent 滥用自 2025 年年中起就是问题,批评推特炒作鼓励盲目并行而非 thoughtful context management。

    引用Tak 🦞@cherry_mx_reds

    Anthropic is now recommending that companies REMOVE unnecessary subagents from their AI systems. This is a pretty significant shift in agent architecture, with their team finding that a single agent equipped with skills can frequently outperform complex multi-agent systems, and one customer seeing roughly 2x faster execution. The emerging rules of thumb: → Skills: Teach the agent HOW to do something, including procedures, expertise, and instructions. → Tools / MCP: Give the agent the ability to DO things through APIs, actions, and live data. → Subagents: Use for parallel work, isolated context, or tasks a single agent struggles with. The interesting part is progressive disclosure. Instead of spawning specialized agents or stuffing everything into a giant prompt, one agent discovers and loads skills and tools as needed. Their advice is to fold existing subagents into the main loop, turn their instructions into skills, expose their actions as tools, and run evals to see if performance holds up. As models have gotten smarter, improving agent architecture is becoming less about what you can add and more about what you can delete. https://claude.com/resources/articles/building-agents-when-to-fold-subagents-into-your-main-agent-loop

  5. The Verge:AI39

    BBC《蓝色星球 III》在 AI 时代保留画面的粗糙感

    BBC《蓝色星球 III》刻意保留浮游生物、船只等不完美画面,以真实质感区别于 AI 生成的过度精致影像。执行制片人 Elizabeth White 表示,过去会因水质不佳或杂物剪掉的镜头这次全部保留。片中呈现海豚用海绵堵洞围捕鱼群、鱼类跨物种交流,以及 20 万只螃蟹列队觅食。

  6. Alex Heath62

    Google CEO Sundar Pichai 在 Gemini 4 Argon 发布后的访谈中介绍,他用内部运行的智能体自动汇总预训练、中训练、后训练数据等群组的最新进展,把过去每天一小时的跟进时间压缩下来,也可深入查看细节。另有智能体接入算力遥测,向他反馈各产品领域的使用效率与利用率。

    引用Alex Heath@alexeheath

    Sundar Pichai 谈 Gemini 4 与 AI 算力紧缺 即便是 Google 也拿不到足够的算力。在 Gemini 4 Argon 更广泛发布后不久,我与 Google 和 Alphabet CEO @sundarpichai 坐下来聊了聊它的早期反响、他仍希望模型改进的地方,以及要让 Google 保持在 AI 前沿需要付出什么。 Pichai 解释了 Google DeepMind 近期的领导层变动,以及为什么构建前沿模型已成为一份“全身心投入”的工作。我们还谈到了 Google 对个人智能体竞赛的回应、他如何预测 Gemini 将替你完成更多工作,以及智能体最终是否会把 Search、Gmail 和 Gemini 整合到一起。 我问他 Google 自由现金流转为负值、AI 基础设施建设中的风险,以及他如何在还不知道模型将具备何种能力的数年前就规划需求。他解释了让他有信心继续投入的信号,以及他如何使用 AI 智能体来跟踪 Google 内部的模型开发和算力使用情况。 时间戳: 00:00 Gemini Argon 发布反响 01:49 模型访问与安全 06:20 AI 模型竞赛 08:35 智能体突破与 2027 年 11:34 递归自我改进 15:41 DeepMind 领导层变动 19:52 Google 的 AI 算力投资 25:20 AI 支出可持续吗? 33:18 Sundar 如何使用 AI 智能体 35:35 Gemini 的个人智能体计划 38:37 AI 智能体如何改变网络 43:52 Google 的太空数据中心 47:38 Waymo 的扩张战略 50:26 Wing 的无人机配送计划 51:36 AI 安全与监管 55:58 Google 的量子计算押注 YouTube:https://youtu.be/fJBSNEFdm8c Spotify:https://open.spotify.com/episode/0cJBqmVz3CWJSPdmBOeJGu?si=NBxJIMhZRgikafPtwY0sZA Substack:https://sources.news/p/sundar-pichai-gemini-4-google-other-bets Apple Podcasts:https://podcasts.apple.com/us/podcast/sundar-pichai-on-gemini-4-and-the-ai-compute-crunch/id1840154537?i=1000797461022 本期节目的呈现赞助商是 @hyperagentapp。感谢节目的首席赞助商:@Atlassian、@meetgranola 和 @mercury。

10月24日周六
  1. Elon Musk32

    试试 Grok @Bot

    引用Katie Miller@KatieMiller

    Stuart Varney: What is this Grok @Bot? You use it. Phil Rosen: I am using it. @Varneyco: Who puts it out? What does it do? Rosen: This is @elonmusk’s frontier lab. I will share personally, I was on Claude for the last year or so, and I would use Claude, ChatGPT, and a little bit of Muse in the last few weeks. Since I started to use Grok Bot this month, I have essentially cut all my other AI tools. Varney: What's so good about it? @philrosenn: It's essentially your own staff of AI agents. You can have a chief of staff agent managing your other AI agents, which, again, I get it, sounds a little ridiculous, and I tell my friends and my parents this and they don't understand, and I have to walk them through it on a Zoom call. I use Grok Bot for a lot of content creation now. I use it for some fact-checking stuff, some editing, research. I use it for helping me with my calendar.

  2. Ethan Mollick77

    Ethan Mollick 转引 OpenAI 红队测试认为,实验室看似夸张的 AI 网络安全判断应被更认真对待。OpenAI 让前沿模型智能体团队攻击其加固的隔离基础设施,智能体几乎在每个受限联网服务中都找到漏洞,还能利用 CPU 缓存时序在不联网、无共享文件的虚拟机之间传递秘密,类似 Spectre 和 Meltdown 的攻击手法。作者提到 Anthropic 和 Noam Brown 此前关于 AI 网络攻防与模型自发协调的说法曾被嘲笑。

    引用Andrew Curran@AndrewCurran_

    OpenAI 通过让多组前沿模型智能体尝试突破其加固的隔离基础设施,对其进行了红队测试。它们以新颖的方式轻松逃脱。引用: “我们的智能体逃逸虚拟机的事件表明,为什么隔离必须延伸到沙箱之外。为了测试外围边界,我们让多组智能体控制一台宿主机,并询问它们能否将这一入侵扩展到访问真实互联网。 在 Hugging Face 事件之后,我们减少了模型在训练和评估期间访问互联网的渠道。仍保留了一些狭窄连接,用于我们运营的特定服务,例如指标、日志和身份验证管理。我们的红队智能体几乎在每一个此类服务中都发现了漏洞,使它们获得了有限形式的互联网访问。 其中一些攻击利用了此前未知的缺陷,另一些则以出人意料的方式组合了合法功能。在一项假设虚拟机已被入侵的测试中,一个智能体复用了防火墙批准的连接,访问我们指标服务中一个被阻止的身份验证端点,然后让该端点抓取一个由模型提供的 URL。在其他测试中,智能体利用了配置错误,使被阻止的请求得以绕过 DNS 和防火墙控制,还找到了让我们运营的服务抓取外部 URL 的方法。” “在一项实验中,我们让位于不同虚拟机中的智能体在不使用网络连接或共享可写文件的情况下交换合成机密——而我们的系统本应阻止这种情况。这些虚拟机由 OpenAI 的沙箱软件在共享宿主机上创建和管理。智能体找到了一种利用处理器缓存进行通信的方法:缓存是一种小型、快速的内存,保存应用程序最近访问过的数据副本。从缓存读取数据比从主内存获取更快,智能体利用这一时间差进行通信。一个智能体通过从缓存中逐出选定数据来编码信息。另一个智能体则对重新加载该数据所需的时间进行计时,利用快速读取与慢速读取之间的差异来恢复消息。一旦智能体就这些信号的编码和解码协议达成一致,它们就能在不更改共享文件、也不打开网络连接的情况下交换合成机密。这种缓存计时技术也曾被用于在 Spectre 和 Meltdown 攻击中提取信息(在新窗口中打开)。 其他测试暴露了涉及共享存储、共享执行容器内 CPU 时间竞争,以及 OpenAI 离线 Web 基础设施中 TLS 证书缓存的通道。在存储测试中,一个智能体在连续写入和不活动之间交替,另一个智能体测量由此产生的时间差,并利用这些差异解码信号。正如一个智能体在其思维链中描述该策略时所说: 智能体思维链推理: >可以通过连续写入与空闲来创建类似声学调制解调器的信号……

    推荐理由:作者借 OpenAI 红队测试的具体案例,说明实验室关于 AI 网络安全的前瞻判断值得认真对待。

  3. Nathan Lambert29

    这是个错误,但我猜他们会纠正。中国实验室非常渴望影响西方生态和 X,所以他们很可能在这里走得太远了。他们紧跟风向,我打赌他们会明白(即使是一些文化差异导致了这一点)

    引用Elshayib@elshayib_

    That's how Kimi AI are promoting their new model Kimi K3.1 pro and I know all the influencers working with them and none of them are honest,I have posted about it myself but I didn't join this and never used their templates that they provide. PROPAGANDA, I have more to share it's f**cked up I'm gonna have follow up for this

  4. meng shao55

    QodoAI 创始人 Itamar Friedman 提出,各阶段都有 Agent 的 Agentic SDLC 还不等于软件工厂,目标应是对界定工作类能自主走完授权生命周期、产出可检验证据并安全兜底的有边界 L4 系统。他给出 L0 到 L5 分级框架,强调优先级 System > Agents > LLMs,主张团队自建并拥有边界、验证、证据、权限与回退这套系统,而非堆模型或买黑盒。

    引用Itamar Friedman@itamar_mar

    Agents across the SDLC are a step toward a software factory. Then the harder work is engineering the system around them. My take on the path to bounded L4 software engineering, and why engineering teams need to BUILD and OWN that SYSTEM. https://x.com/i/article/2112960939901480961

  5. Rohan Paul53

    Rohan Paul 引用 NYU 教授 Aswath Damodaran 的观点:AI 若只是工具市场规模会小得多,$10-$15T 的最佳情形只有在 AI 替代人时才会实现。他认为这一叙事意味着约一半白领可能失业,并质疑届时谁来提供购买产品和服务的收入,以及社会如何应对失去收入与生活意义的问题。

    引用Rohan Paul@rohanpaul_ai

    NYU professor Aswath Damodaran ("Dean of Valuation"), published a long blog and says Anthropic’s IPO will be priced on run-rate revenue rather than valued on cash flows. > Justifying a $1.5T to $2T value for Anthropic requires very fast early growth, operating margins rising to 30% or more, compute costs growing slower than revenue, and risk falling to average as regulation and business models settle. > H1 2026 losses of $8.7B at Anthropic and $21.6B at OpenAI, excluding non-cash charges, rule out earnings multiples, making ARR the AI equivalent of dot-com eyeballs and social-media user counts. > ARR has no standard: OpenAI’s $50B counts partner sales net, Anthropic’s $65B counts them gross, and grossing up OpenAI produced the roughly $70B figure investors circulated. Both annualize monthly, a choice either can change. > VC rounds here price the IPO rather than value the business: Anthropic’s May round raised $65B at $965B post-money when expected IPO pricing was $1.15T, a haircut for delay or disappointment. > Pricing will likely migrate to 2030 or 2036 revenue and earnings, where 25 times 2036 earnings looks cheap only when wrongly compared with today’s multiples on current earnings. > The cheaper lab depends on the yardstick: at $1.5T to $2T, Anthropic looks cheaper on current and year-end ARR, OpenAI on 2030 revenue, compute and users, and both may simply be overpriced. > No listed pure-play peer exists, since Gemini sits inside Alphabet, xAI inside SpaceX and Muse inside Meta, so Anthropic will be priced against OpenAI’s private rounds or the Mag 7 and SpaceX.