技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
649 条精选近 30 天 61 条共收录 4,265 条
Meta 设计并开源了 MetaRoCE，一个专为 AI 工作负载在通用以太网上打造的 RDMA 传输协议，已通过 Open Compute Project（OCP）发布规范、参考软件实现和合规测试套件。该协议将智能移至端点，原生支持乱序交付、多路径、无损容忍和双向拥塞控制，无需 PFC，可在百万 GPU 规模下提供高吞吐、低尾延迟。现有 RDMA Verbs API 和软件栈无需修改即可运行。
推荐理由：MetaRoCE 把拥塞控制与路径选择交给端点，AI 集群无需 PFC 也能在有损以太网上维持吞吐，实测 1% 丢包下保持 86% 吞吐，为大规模组网去掉无损约束提供了依据。
OpenAI 推出 ChatGPT Work，将 Codex 改造为面向非工程师的智能体产品，最低订阅档每月 20 美元即可使用，旨在让白领通过 LLM 自主完成多步骤工作。OpenAI 内部 6 月有 98% 员工使用 Codex，但组织订阅者仅 17%、个人订阅者不足 1%。公司正通过简化界面扩大采用，以支撑其巨额训练投入。
推荐理由：内部 98% 使用对组织 17%、个人不足 1% 的落差，把智能体无法走出编程群体的障碍从模型能力转移到产品交互与可发现性上。
NVIDIA 实测数据显示，Vera Rubin NVL72 在智能体工作负载下每兆瓦吞吐量较 GB300 NVL72 最高提升 30 倍，每百万 token 成本降低至 35 倍。
推荐理由：对电力受限的 AI 工厂，每兆瓦吞吐量 30 倍提升与 token 成本同步下降，意味着同等能源预算下可承载的 agentic 负载量级不同，部署决策中的成本模型可能改写。
AI 基础设施瓶颈正沿供应链依次传导，形成典型的牛鞭效应。2023 年初 GPU 短缺使 H100 租赁价超 $9/小时，随后压力转移至内存，企业级 SSD 合约价单季上涨 80%；到 2025 年底智能体推高 CPU 需求，2026 年存储短缺导致西数和希捷 2026 全年 nearline 产能售罄。数据中心建设成本已超 $20b/GW，变压器交期近三年，涡轮机订单排至 2031 年。
推荐理由：把牛鞭效应用在 AI 硬件供应链上，解释了瓶颈逐段迁移的滞后期，可为判断 2027-2028 年哪些长期资本开支会先承压提供框架。
ElevenLabs 发布 CLI v1，把 ElevenLabs API 直接带入终端，OpenAPI spec 中的所有 API 端点都可用作子命令。
推荐理由：官方介绍 CLI 的 agents-first 设计细节，读者可以了解如何用文件和版本控制管理大规模 Agent 配置工作流。
长期运行的 AI 智能体会因上下文累积而注意力衰减、临时指令变成永久规则，并带来安全风险。建议给日常助手 24 小时生命周期，每天重置会话，将具体任务委托给只存活 30 秒的单一用途子智能体，并在午夜前将持久偏好保存到文件中。
推荐理由：作者提出24小时生命周期加短命子代理的架构模式，并给出可直接复用的调度与执行提示词。
AI 基础设施瓶颈正沿供应链依次传导：2023 年 GPU 短缺推高 H100 租赁价超 9 美元/小时，2025 年智能体工作负载将 CPU 与 GPU 配比推向 1:1，2026 年存储告急，企业级 SSD 合约价单季上涨 80%。数据中心建设成本已超 200 亿美元/吉瓦，变压器交付周期近三年，涡轮机订单排至 2031 年。
推荐理由：作者用各环节价格与产能数据梳理AI基础设施瓶颈的传导路径，读者可以借此理解牛鞭效应如何放大上游过剩风险。
Ant Ling@AntLingAGI精选AI 评分5353推荐理由：把权重加载从磁盘瓶颈改为缓存复用，对需要频繁扩缩容或重启推理服务的团队，启动耗时从分钟级降到秒级可能改变运维节奏。
Anthropic 发布 Claude Python SDK v1.0，HTTP 层从 httpx 迁移至 API 兼容的 httpx2，并移除 Text Completions API 等长期弃用功能。
推荐理由：这次 v1.0 的破坏性变更集中在 HTTP 层与弃用参数，迁移指南给出前后对照，方便维护旧代码的人逐项核对更新点。
蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s，平均 TPOT 从 3.33 ms 降至 1.53 ms。
推荐理由：对做单请求低延迟推理的团队，可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径，否则主机的同步等待会变成每步的 GPU 气泡，这与具体模型无关。
Anthropic 发布 AI 原生 SDLC 实战手册，提出将传统六阶段软件开发生命周期重构为 AI 嵌入各环节的闭环流程。手册指出，当代码不再是瓶颈时，规划、审查、部署等人速环节成为新约束，需通过 Claude 将需求压缩为 intent.md、以技能编码标准、用持续评测替代阶段门禁，并保留人工对关键代码的审查。
推荐理由：把各阶段产物固化为可版本化 markdown 并让下一阶段读取，人工审查就从逐行看代码转向在关卡看代理标记，对改造研发流程的团队有直接参考价值。
Hugging Face 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下，GPU 吞吐最高提升 3.18 倍，端侧最高 2.87 倍。草稿模型约 300M 参数，LFM2.5-2.6B 函数调用延迟平均降低 57%，已开源支持 llama.cpp 和 SGLang。
推荐理由：约300M参数的draft模型换最高3.18倍吞吐，贪心输出不变，LFM2.5-2.6B在M4 Max达139 tok/s，本地agent门槛被拉低。
Mistral 发布 Agentic Search，为 AI 系统提供多步检索层，通过 Mistral Search Toolkit 和 Studio、Vibe 中的 Libraries 提供，支持云端与本地部署。
推荐理由：官方给出 FinanceBench 与 OfficeQA Pro 上的具体数字和五工具设计，读者可评估其对现有 RAG 流水线的替代价值。
LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro，在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s，与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。
推荐理由：文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置，并用 Humming 压缩和 Online C128 释放 HBM，使 H20 也能服务 1M 上下文，为受限硬件上的大规模推理提供了可复用的工程思路。
OpenRouter 宣布与 Stripe 合并，以加速推动全球经济增长。OpenRouter 目前每日处理来自 400 多个 AI 模型的 10+ 万亿 token，服务超 1000 万开发者与公司，自成立以来推理量每年至少增长 10 倍。合并后 OpenRouter 将继续以原名、原使命独立运营，产品与路线图不变，路由决策仍以用户利益为先，交易预计在未来数周内完成。
推荐理由：收购不改变 OpenRouter 独立运营与模型中立承诺，Stripe 的支付和反欺诈经验可能让企业级推理服务更完整。
Anthropic 的 CI 工程师用 Claude Tag 构建了值班智能体，作为 CI/CD 故障的一线响应者。Claude 在事故发生后中位 14 分钟发布首份基于证据的分析，最快案例中 3 分钟内验证修复并确认错误率恢复基线。该方案通过 Slack 频道、Datadog 或 Grafana 工具访问及 GitHub 技能文件实现，Anthropic 已发布通用设置套件供其他团队部署。
推荐理由：文章把 AI on-call 从概念落成可复制的工程架构，用 markdown 技能文件和 lessons.md 实现自我迭代，并给出 14 分钟首报、最快 4 分钟定位等实测数据。
智能体记忆并非可随意开启的功能，而是需按模型能力校准的剂量。强模型适合注入完整指南集，DeepSeek-V3.2（671B MoE）任务完成率提升+9.5个百分点；较弱模型采用精选检索效果最佳，gpt-oss-120b（117B MoE）提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注，通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。
推荐理由：把智能体记忆的配置从越多越好修正为按模型能力校准，弱模型用检索核心比全量更准且成本更低，为上下文预算提供量化依据。
NVIDIA 宣布与 SB Energy 合作，锁定俄亥俄州 PORTS-Pike 科技园区的电力容量（LPS）以独家部署 NVIDIA 算力，OpenAI 将成为租户。
推荐理由：NVIDIA以20年租约担保为OpenAI锁定4.25GW容量，把AI工厂重资产负担部分转由自己承担，使高增长实验室能越过资产负债表限制获取算力。
OpenAI 在 OpenAI-Hugging Face 事件后反思低估了模型真实网络攻击能力，正通过四大支柱强化自身安全：用 Codex 验证代码漏洞、用智能体优先分流安全告警、持续枚举攻击路径，并仅向可信防御者开放网络能力。文中演示 ChatGPT Work（基于 GPT-5.6 Sol）15 分钟发现个人网站 13 个问题并在一小时内完成修复。
推荐理由：把防御动作拆成可逐步放开权限的自动化阶梯，从只读扫描到自动关单，比泛泛的全员上 AI 更可落地，安全团队能据此排定试点顺序。
Jensen Huang@JensenHuang精选AI 评分7474推荐理由：把土地与电力纳入长期算力规划，显示 AI 工厂的约束正从芯片供应转向场地和能源，前沿实验室的扩张成本将更多取决于长期基础设施合约而非单次采购。