Sequoia 合伙人 David Cahn 更新 AI 基础设施支出估算:2026 年全球投入达 1.5 万亿美元,行业需产生 3 万亿美元收入才能回本。Anthropic 年化收入(ARR)达 600 亿美元,OpenAI 2025 年收入 130 亿美元(11 月称 ARR 200 亿美元),但缺口仍大。Apollo 首席经济学家指出,谷歌、Meta、微软、亚马逊均预测 2028 年自由现金流加速,但风险在于更多组织转向更便宜的开放权重模型(尤其中国模型),且 OpenAI 最新模型编码任务 token 效率提升 54%,导致 token 价格持续下降。若超大规模厂商现金流目标落空,可能引发经济衰退和标普 500 回调。
部署工程
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
精选归档 · 第 9 页
第 161–180 条 · 共 532 条
7月10日
ChatGPT Sites 现已面向 Plus、Pro、Business 和 Enterprise 用户开放。支持网页端、移动端和桌面端。 我利用新版 ChatGPT 中的 Sites 插件,将一个想法变成了一个个人待办事项应用。 以下是我...
另有 1 家信源报道X:OpenAI Developers (@OpenAIDevs)7月9日
Mistral 今日推出 Studio,为 AI 提示词和技能提供集中式系统记录。平台将 prompts 和 skills 视为生产资产,支持不可变版本、回滚、明确所有权、分类标签和审计日志,保证变更可追溯。非开发者可直接编辑测试,通过标签将变更推送至生产,保留原有 CI/CD 流程。可观测性让生产输出回溯到对应资产版本,形成闭环治理。现面向 Mistral Studio 客户开放。
NVIDIA 发布 Nemotron-3-Super 的压缩变体 Nemotron-Labs-3-Puzzle-75B-A9B,总参数从 120.7B 降至 75.3B,活跃参数从 12.8B 降至 9.3B,保持 88 块混合布局(40 Mamba、40 MoE、8 注意力)。在 8×B200 节点上,8K/64K 场景匹配用户吞吐量≥100 tok/s 时,服务器吞吐量提升 2.03 倍。单 H100 上 1M-token 并发从 1 增至 8,权重占用从 70 GB 降至 44.5 GB。迭代式 Puzzle 方法平均得分比单步高 0.57。代价:Arena-Hard-V2 降 4.2 分、SWE-Bench 降 2.6 分。Hugging Face 提供 BF16、FP8、NVFP4 检查点。
另有 1 家信源报道MarkTechPost(RSS)一种为AI智能体设计的预检工作记忆架构:查询到来时,系统从磁盘上约90个索引化的技能库中检索最相关技能,仅加载到上下文窗口。本地开源模型Ornith 35B(350亿参数,通过Ollama在Apple Silicon上运行)执行任务,约80%常规任务由本地模型完成,困难任务路由至前沿模型。看门狗记录每次预检决策和技能调用,夜间通过异步推理处理全天轨迹,自动决定哪些技能需新增或固化(如日历排期转为确定性Rust代码),实现自我改进循环。昨天,看门狗首次未提出任何改进建议,系统或接近性能平台期。
OpenAI近日公布国家安全原则,阐明在政府及国家安全领域部署前沿AI系统的方针。原则强调在保护公民、防御关键基础设施、提供公共服务及应对新兴威胁(网络防御和生物安全)中发挥AI优势,同时确保民主问责、人类判断和法治。过去一个月,OpenAI通过Daybreak网络防御计划与澳大利亚、加拿大、日本、韩国、法国、德国、波兰、荷兰及欧盟ENISA等机构建立网络安全信任访问合作,并与英国政府开展网络安全测试评估。上月,OpenAI向部分美国政府及盟友合作伙伴开放GPT‑Rosalind模型用于公共卫生和生物防御。原则适用于现有及未来合作,包括与Department of War的协议,明确禁止大规模国内监控、自主武器系统及高风险自动化决策。OpenAI支持立法对高风险军事用途(如国内监控、自主武器)建立保障措施。
Hugging Face 宣布 transformers vLLM 后端现与手写原生 vLLM 实现速度相当甚至更快。模型作者无需移植代码,即可自动利用 transformers 获得超快推理。测试使用 Qwen3-4B(单 GPU)、Qwen3-32B(张量并行)和 Qwen3-235B-A22B-FP8 MoE(数据+专家并行)三种配置,吞吐量均达到或超过原生。该后端通过 torch.fx 静态分析图、AST 重写代码实现动态层融合,支持张量/管道/专家并行及 torch.compile。用户仅需添加 --model-impl transformers 标志。目前不支持线性注意力模型但即将支持。
7月8日
Hugging Face Storage 现为 SkyPilot 的一级后端。用户通过 hf:// URL 和现有 HFTOKEN 即可将 Hugging Face Bucket(读写)或模型/数据集/Space 仓库(只读)挂载到 SkyPilot 任务中,支持 MOUNT(FUSE 懒加载)或 COPY 模式。SkyPilot 可将任务调度到 20+ 云、Kubernetes、Slurm 及本地集群的任意可用 GPU 上。Hugging Face 不收取出站及 CDN 费用,故跨云读取数据无额外成本。存储价格 $12–18/TB/月,低于 AWS S3 加出站费。Bucket 基于 Xet,增量检查点和模型变体仅存储和传输改动部分。
AI公司在12个月内合计承诺97.5亿美元用于建设前部署工程(FDE)团队。三种结构模型浮现:资产负债模型(微软、亚马逊从现有编制调配,Salesforce承诺1000个FDE岗位);独立实体模型(OpenAI Deployment Company融资40亿美元,投后估值140亿;Anthropic从黑石等融资15亿美元);合作伙伴生态系统模型(Google Cloud承诺7.5亿美元合作伙伴基金)。瓶颈从模型能力转向部署——GPT-4、Claude、Gemini已足够强大,但多数企业无法自行安装配置。FDE投资构成护城河:嵌入式工程师教育客户、获取专有工作流与数据反馈模型调优,切换成本为制度性而非技术性。
7月7日
美国自动驾驶车辆公司 Forterra 宣布,过去九个月已向乌克兰战场部署超过 100 辆基于 Polaris ATV 的 Lancer 自主地面车辆。这些汽油动力车辆可携带 750 公斤货物,加装 Starlink 天线实现远程操控,已执行 1100 多次任务,行驶 2500 英里,运送 777,440 磅物资,完成 52 次伤员撤离。目前车辆主要采用远程操作,因自主系统尚无法实时识别并应对敌方威胁。Forterra 已融资超 5 亿美元,正将经典机器人方法与生成式 AI 结合以提升自主能力。美军专家认为地面自主技术已具实战价值。
蚂蚁 inclusionAI 开源的多智能体协作基础设施 Avernet V0.1 正式发布。该项目聚焦 Agent 注册、发现、邀请等协作层问题,不替代 Agent 自身推理能力。通过群组、会话和共享上下文构建多方共识,支持自由聊天、领导-跟随等协作模式,并利用协作反馈形成观察、评估到复用、优化的自动进化闭环。支持 OpenClaw、自定义 Agent、第三方 Agent 引擎及现有 bot 平台等异构生态,提供 Docker 与本地两种快速部署路径。
SGLang 团队将 DSpark 推测解码算法集成到开源推理引擎中。该算法采用半自回归块起草器一次生成一组 token,并利用置信度头与顺序温度缩放(STS)为每个请求动态分配可变验证长度,从而在高负载下裁剪无效验证成本。SGLang 支持密集模型(如 Qwen3)和稀疏模型(如 DeepSeek-V4),通过全 CUDA 图处理不规则的每请求验证长度。提供三种验证模式:static(全长)、compact(生产路径)和 cap-accept(接受上限测量)。还引入了零开销调度、基于离线成本表的在线调度器、融合 Triton 核等优化。在 H200 上使用 DeepSeek-V4-Flash 的测试中,DSpark 在整个并发扫描范围内比 MTP 和非推测基线实现了更优的吞吐量-延迟权衡。
7月6日
7月5日
我终于明白为什么 SpaceX 能越跑越快, 别人把失败当事故,他们把失败当数据金矿。 SpaceX 总裁 Shotwell 分享了SpaceX的投资逻辑, 以及SpaceX 是怎么对待失败、怎么跟投资人谈预期的? Shotwell有一句话...
7月4日
Lilian Weng 近日系统探讨了 AI 的“装备层”(Harness)——位于基础模型与现实世界之间的系统层,负责编排执行、控制模型思考与规划。文章归纳三种核心设计模式:1)工作流自动化,采用“计划-执行-观察-改进”循环;2)将文件系统作为持久化内存,解决长程任务上下文窗口与状态持久化问题;3)子智能体与后台任务,实现并行执行与隔离管理。案例聚焦于 Claude Code、Codex 等编程智能体的装备层设计。未来方向包括上下文工程、工作流优化以及通过进化搜索联合优化模型权重。
7月3日
面壁智能发布全球首个完全由AI编写、无人类干预的生产级大模型预训练框架ForgeTrain。该框架针对特定模型和硬件从零自动“锻造”专用训练代码。基准测试显示,ForgeTrain在8小时内追平Megatron-LM,1.5至2天内实现稳定反超,模型FLOPS利用率提升约8%~10%,且可迁移至不同模型(MiniCPM4-0.5B/8B)和硬件(H100及昇腾NPU)。其采用四阶段Harness优化流程,全程自动判定。面壁智能将其工程思想概括为Forge Engineering。
Program-as-Weights (PAW) 提出模糊函数编程范式,将自然语言描述的函数编译为紧凑、可本地执行的神经制品。PAW 使用在 10M 示例数据集 FuzzyBench 上训练的 4B 编译器,为冻结的轻量级解释器输出参数高效适配器。0.6B 的 Qwen3 解释器执行 PAW 程序性能匹敌直接提示 Qwen3-32B,推理内存仅约五十分之一,在 MacBook M3 上达 30 tokens/s。该方法将基础模型从每次输入的求解器重新定义为工具构建器,一次函数定义后生成的制品可离线廉价复用。
阿里巴巴发布 Page Agent,一个开源的 JavaScript 客户端库,嵌入网页后可通过自然语言指令直接操作 DOM 元素。与 Playwright、Puppeteer 等外部浏览器自动化工具不同,Page Agent 不依赖截图或多模态模型,而是将实时 DOM 脱水压缩为 FlatDomTree 文本映射,让纯文本模型精准执行点击、表单填写等操作。它继承用户 cookies 和会话,无需独立后端,并支持任意 OpenAI 兼容端点的模型(示例使用 qwen3.5-plus)。项目采用 MIT 许可证,适合在自有应用内构建 AI 副驾、智能表单填充或无障碍控制等场景,但限于单页面范围,风险操作仍需服务端验证。
Microsoft 新设业务部门“Frontier Company”,拨款 25 亿美元,将 6000 名行业与工程专家派驻企业客户现场,“共同设计、共同创新、部署并持续改进 AI 系统”。该部门由 Rodrigo Kede Lima 领导,旨在超越“前部署工程”模式,成为“最大、以结果为导向的工程组织”。Microsoft 将自己定位为 OpenAI 和 Anthropic 的“平台中立”替代方案,后两者也已设立专门部署公司。Microsoft 将借助埃森哲、凯捷、安永等系统集成商扩大覆盖范围。