Topic · 主题全部主题 →

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

4,760条收录
532条精选

精选归档 · 第 9 页

161180 条 · 共 532

7月10日7月10日周五

星期五 · 2 条
06:00
TechCrunch:AI(RSS)精选
AI 评分 73/100
AI 能否回答 3 万亿美元的问题?

Sequoia 合伙人 David Cahn 更新 AI 基础设施支出估算:2026 年全球投入达 1.5 万亿美元,行业需产生 3 万亿美元收入才能回本。Anthropic 年化收入(ARR)达 600 亿美元,OpenAI 2025 年收入 130 亿美元(11 月称 ARR 200 亿美元),但缺口仍大。Apollo 首席经济学家指出,谷歌、Meta、微软、亚马逊均预测 2028 年自由现金流加速,但风险在于更多组织转向更便宜的开放权重模型(尤其中国模型),且 OpenAI 最新模型编码任务 token 效率提升 54%,导致 token 价格持续下降。若超大规模厂商现金流目标落空,可能引发经济衰退和标普 500 回调。


推荐理由:Sequoia和Apollo的经济学家同时拉响警报,AI基建支出今年1.5万亿美元,需要3万亿收入才回本。这不是唱衰,是给产品人一个倒计时,开源模型和掉价的token让这账更难算。
05:44
OpenAI Developers@OpenAIDevs精选
AI 评分 68/100
ChatGPT Sites将创意变可发布网站Turn an idea into a live Site you can publish and shareHere’s what some of the team at OpenAI built with Sites 👇@prd_008 used Sites to turn an idea into a personal focus app:将一个想法变成可发布和分享的实时网站 以下是OpenAI团队的一些成员用Sites构建的示例👇 @prd_008 用Sites将一个想法变成了个人专注应用:

pranav: ChatGPT Sites 现已面向 Plus、Pro、Business 和 Enterprise 用户开放。支持网页端、移动端和桌面端。 我利用新版 ChatGPT 中的 Sites 插件,将一个想法变成了一个个人待办事项应用。 以下是我...

另有 1 家信源报道X:OpenAI Developers (@OpenAIDevs)
推荐理由:ChatGPT Sites 把建站门槛拉到一句话描述,我觉得这是 ChatGPT 从「聊完就忘」到「留下东西」的关键一步,但现阶段模板和分发都太简陋,产品人可以先尝鲜别急着押注。

7月9日7月9日周四

星期四 · 5 条
22:33
Mistral AI:News(网页)精选
AI 评分 55/100
Mistral 推出 Studio,为 AI 提示词和技能提供系统记录

Mistral 今日推出 Studio,为 AI 提示词和技能提供集中式系统记录。平台将 prompts 和 skills 视为生产资产,支持不可变版本、回滚、明确所有权、分类标签和审计日志,保证变更可追溯。非开发者可直接编辑测试,通过标签将变更推送至生产,保留原有 CI/CD 流程。可观测性让生产输出回溯到对应资产版本,形成闭环治理。现面向 Mistral Studio 客户开放。


推荐理由:企业提示词管理混乱是真实痛点,Studio 这次更新把治理和迭代闭环做进了生产系统,比单独的目录工具更进一步。
16:57
MarkTechPost(RSS)精选
AI 评分 70/100
NVIDIA 发布 Nemotron-Labs-3-Puzzle-75B-A9B:压缩混合 MoE 模型,服务器吞吐量提升 2.03 倍

NVIDIA 发布 Nemotron-3-Super 的压缩变体 Nemotron-Labs-3-Puzzle-75B-A9B,总参数从 120.7B 降至 75.3B,活跃参数从 12.8B 降至 9.3B,保持 88 块混合布局(40 Mamba、40 MoE、8 注意力)。在 8×B200 节点上,8K/64K 场景匹配用户吞吐量≥100 tok/s 时,服务器吞吐量提升 2.03 倍。单 H100 上 1M-token 并发从 1 增至 8,权重占用从 70 GB 降至 44.5 GB。迭代式 Puzzle 方法平均得分比单步高 0.57。代价:Arena-Hard-V2 降 4.2 分、SWE-Bench 降 2.6 分。Hugging Face 提供 BF16、FP8、NVFP4 检查点。

另有 1 家信源报道MarkTechPost(RSS)
推荐理由:把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
07:38
Tomer Tunguz 博客(VC 分析)精选
AI 评分 57/100
AI预检检查:智能体工作记忆架构

一种为AI智能体设计的预检工作记忆架构:查询到来时,系统从磁盘上约90个索引化的技能库中检索最相关技能,仅加载到上下文窗口。本地开源模型Ornith 35B(350亿参数,通过Ollama在Apple Silicon上运行)执行任务,约80%常规任务由本地模型完成,困难任务路由至前沿模型。看门狗记录每次预检决策和技能调用,夜间通过异步推理处理全天轨迹,自动决定哪些技能需新增或固化(如日历排期转为确定性Rust代码),实现自我改进循环。昨天,看门狗首次未提出任何改进建议,系统或接近性能平台期。


推荐理由:Tunguz 把代理的记忆问题拆成预检+看门狗,不是大模型调参,而是软件架构层的优化,做 agent 的开发者可以直接偷师。
04:38
OpenAI:官网动态(RSS · 排除企业/客户案例)精选
AI 评分 58/100
OpenAI发布政府与国家安全合作伙伴关系方针

OpenAI近日公布国家安全原则,阐明在政府及国家安全领域部署前沿AI系统的方针。原则强调在保护公民、防御关键基础设施、提供公共服务及应对新兴威胁(网络防御和生物安全)中发挥AI优势,同时确保民主问责、人类判断和法治。过去一个月,OpenAI通过Daybreak网络防御计划与澳大利亚、加拿大、日本、韩国、法国、德国、波兰、荷兰及欧盟ENISA等机构建立网络安全信任访问合作,并与英国政府开展网络安全测试评估。上月,OpenAI向部分美国政府及盟友合作伙伴开放GPT‑Rosalind模型用于公共卫生和生物防御。原则适用于现有及未来合作,包括与Department of War的协议,明确禁止大规模国内监控、自主武器系统及高风险自动化决策。OpenAI支持立法对高风险军事用途(如国内监控、自主武器)建立保障措施。


推荐理由:OpenAI 首次公开发布国家安全合作原则,同时宣布与多国建立网络和生物防御伙伴关系。我觉得这是头部 AI 公司在军事合作上的一次主动透明化尝试,值得看看他们如何设限。
00:21
Hugging Face:Blog(RSS)精选
AI 评分 66/100
原生速度的 vLLM transformers 建模后端

Hugging Face 宣布 transformers vLLM 后端现与手写原生 vLLM 实现速度相当甚至更快。模型作者无需移植代码,即可自动利用 transformers 获得超快推理。测试使用 Qwen3-4B(单 GPU)、Qwen3-32B(张量并行)和 Qwen3-235B-A22B-FP8 MoE(数据+专家并行)三种配置,吞吐量均达到或超过原生。该后端通过 torch.fx 静态分析图、AST 重写代码实现动态层融合,支持张量/管道/专家并行及 torch.compile。用户仅需添加 --model-impl transformers 标志。目前不支持线性注意力模型但即将支持。


推荐理由:用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

7月8日7月8日周三

星期三 · 2 条
03:18
Hugging Face:Blog(RSS)精选
AI 评分 67/100
Hugging Face Storage 成为 SkyPilot 一级后端:零出站费跨云存储

Hugging Face Storage 现为 SkyPilot 的一级后端。用户通过 hf:// URL 和现有 HFTOKEN 即可将 Hugging Face Bucket(读写)或模型/数据集/Space 仓库(只读)挂载到 SkyPilot 任务中,支持 MOUNT(FUSE 懒加载)或 COPY 模式。SkyPilot 可将任务调度到 20+ 云、Kubernetes、Slurm 及本地集群的任意可用 GPU 上。Hugging Face 不收取出站及 CDN 费用,故跨云读取数据无额外成本。存储价格 $12–18/TB/月,低于 AWS S3 加出站费。Bucket 基于 Xet,增量检查点和模型变体仅存储和传输改动部分。


推荐理由:Hugging Face 和 SkyPilot 把存储和算力真正解耦了,跨云读取模型零出口费,用过 SkyPilot 的团队可以立刻省下那块 egress 账单。
01:38
Tomer Tunguz 博客(VC 分析)精选
AI 评分 77/100
FDE爆发:AI公司12个月承诺97.5亿美元部署工程

AI公司在12个月内合计承诺97.5亿美元用于建设前部署工程(FDE)团队。三种结构模型浮现:资产负债模型(微软、亚马逊从现有编制调配,Salesforce承诺1000个FDE岗位);独立实体模型(OpenAI Deployment Company融资40亿美元,投后估值140亿;Anthropic从黑石等融资15亿美元);合作伙伴生态系统模型(Google Cloud承诺7.5亿美元合作伙伴基金)。瓶颈从模型能力转向部署——GPT-4、Claude、Gemini已足够强大,但多数企业无法自行安装配置。FDE投资构成护城河:嵌入式工程师教育客户、获取专有工作流与数据反馈模型调优,切换成本为制度性而非技术性。


推荐理由:Tunguz 把近 100 亿美元 FDE 投资掰成三种结构,让我意识到 AI 竞争已经从模型卷到了客户内部——嵌入式工程可能比 API 更深的护城河。

7月7日7月7日周二

星期二 · 3 条
17:20
TechCrunch:AI(RSS)精选
AI 评分 70/100
美国首批自主地面车辆在乌克兰参战

美国自动驾驶车辆公司 Forterra 宣布,过去九个月已向乌克兰战场部署超过 100 辆基于 Polaris ATV 的 Lancer 自主地面车辆。这些汽油动力车辆可携带 750 公斤货物,加装 Starlink 天线实现远程操控,已执行 1100 多次任务,行驶 2500 英里,运送 777,440 磅物资,完成 52 次伤员撤离。目前车辆主要采用远程操作,因自主系统尚无法实时识别并应对敌方威胁。Forterra 已融资超 5 亿美元,正将经典机器人方法与生成式 AI 结合以提升自主能力。美军专家认为地面自主技术已具实战价值。


推荐理由:这是首次有美国自主地面车辆在实战中长期部署的详细报道,做军事 AI 的人可以认真读,但对多数从业者来说只是猎奇。
12:19
蚂蚁 inclusionAI:GitHub 新仓库精选
AI 评分 72/100
蚂蚁 inclusionAI 开源多智能体协作基础设施 Avernet V0.1

蚂蚁 inclusionAI 开源的多智能体协作基础设施 Avernet V0.1 正式发布。该项目聚焦 Agent 注册、发现、邀请等协作层问题,不替代 Agent 自身推理能力。通过群组、会话和共享上下文构建多方共识,支持自由聊天、领导-跟随等协作模式,并利用协作反馈形成观察、评估到复用、优化的自动进化闭环。支持 OpenClaw、自定义 Agent、第三方 Agent 引擎及现有 bot 平台等异构生态,提供 Docker 与本地两种快速部署路径。


推荐理由:蚂蚁开源的Avernet把多agent协作的发现、连接、共识和可追踪执行做成基础设施,做agent应用的团队可以拿来即用,虽早期但方向对。
01:11
LMSYS:Blog(Chatbot Arena 团队)精选
AI 评分 63/100
SGLang 集成 DSpark 推测解码:置信度驱动的可变长度验证

SGLang 团队将 DSpark 推测解码算法集成到开源推理引擎中。该算法采用半自回归块起草器一次生成一组 token,并利用置信度头与顺序温度缩放(STS)为每个请求动态分配可变验证长度,从而在高负载下裁剪无效验证成本。SGLang 支持密集模型(如 Qwen3)和稀疏模型(如 DeepSeek-V4),通过全 CUDA 图处理不规则的每请求验证长度。提供三种验证模式:static(全长)、compact(生产路径)和 cap-accept(接受上限测量)。还引入了零开销调度、基于离线成本表的在线调度器、融合 Triton 核等优化。在 H200 上使用 DeepSeek-V4-Flash 的测试中,DSpark 在整个并发扫描范围内比 MTP 和非推测基线实现了更优的吞吐量-延迟权衡。


推荐理由:DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。

7月6日7月6日周一

星期一 · 2 条

7月5日7月5日周日

星期日 · 1 条
02:23
AYi@AYi_AInotes精选
AI 评分 77/100
SpaceX与Anthropic每月12.5亿美元算力合同:算力成新基本盘Damn,每月 12.5 亿美元,SpaceX 和 Anthropic 的算力合同简直掀翻了行业天花板, 修订后的 IPO 文件披露,这份合作持续到 2029 年 5 月,双方都可以提前九十天通知终止。12.5 亿美元一个月,签三年,还能随时终止,我觉得SpaceX 这笔算力生意,算盘打得太精了,@elonmusk 老马真的是个商业天才!我看完 Shotwell 的访谈和 SpaceX 上市后的修订版 IPO 披露,第一反应是,这根本不是普通的云服务订单啊, elon意图很明显,SpaceX 早就把算力当成了下一个基本盘,它不只是造火箭的,还在建地球上和太空中的数据中心,在搭自己的 AI 技术栈,连 X 平台都是它算力体系的一部分。所以真的不是 Anthropic 有钱没地方花,也不是 SpaceX 刚好有闲置算力, 你想啊,进能对外做算力供应商扩营收,退能保自己的 AI 和 X 业务不受影响,两头都占住了hhh,那这份合同真正藏着的主动权在哪呢,很多人只看到了 12.5 亿的月单体量,没注意那个 6 个月后可终止的条款。Shotwell 说的很直白,绝不会出售自己实际需要的算力,等于它先把长期订单的钱赚着,一旦自己的业务要用算力了,随时可以收回来。但能确定的是,AI 算力这场仗里,之前大家盯着的都是云厂商,没人把航天公司当成核心玩家。我暂时还没算清它现在的算力储备到底是什么量级,能支撑这么大的合同。 我理解当一家公司能自己搞定从基建到算力到应用的全链路,那么它在 AI 时代的话语权,会比所有人预想的都大。你觉得下一个找 SpaceX 买算力的会是谁呢,欢迎评论区交流呀~修订版IPO文件披露,SpaceX与Anthropic签订每月12.5亿美元算力合同,持续至2029年5月,双方可提前90天通知终止,另有6个月后可终止条款。分析认为,这非普通云服务--SpaceX已将算力作为下一个基本盘,既对外供应算力扩营收,又能保障自身AI及X业务。SpaceX总裁Shotwell表示,公司视失败为数据金矿,不接受完美发射;上市后面临季度财报,其时间维度不同于常规投资者,买SpaceX不是买下一个季度。

AYi: 我终于明白为什么 SpaceX 能越跑越快, 别人把失败当事故,他们把失败当数据金矿。 SpaceX 总裁 Shotwell 分享了SpaceX的投资逻辑, 以及SpaceX 是怎么对待失败、怎么跟投资人谈预期的? Shotwell有一句话...


推荐理由:SpaceX 一份每月 12.5 亿美元的算力合同浮出水面,关键不是金额而是条款——SpaceX 可随时收回算力自用。航天公司成了核心玩家,算力竞争的门槛和格局都被拉高了。

7月4日7月4日周六

星期六 · 1 条
08:00
Lilian Weng:Lil'Log(RSS)精选
AI 评分 57/100
Harness Engineering for Self-Improvement:AI装备层设计模式与自改进

Lilian Weng 近日系统探讨了 AI 的“装备层”(Harness)——位于基础模型与现实世界之间的系统层,负责编排执行、控制模型思考与规划。文章归纳三种核心设计模式:1)工作流自动化,采用“计划-执行-观察-改进”循环;2)将文件系统作为持久化内存,解决长程任务上下文窗口与状态持久化问题;3)子智能体与后台任务,实现并行执行与隔离管理。案例聚焦于 Claude Code、Codex 等编程智能体的装备层设计。未来方向包括上下文工程、工作流优化以及通过进化搜索联合优化模型权重。


推荐理由:Lilian Weng 这篇综述把 agent 自改进的脉络从 harness 设计一路拉到进化搜索,近期关键研究基本都串起来了,做 coding agent 和自动研究的同行建议通读。

7月3日7月3日周五

星期五 · 4 条
18:00
公众号:面壁智能(MiniCPM)精选
AI 评分 65/100
面壁智能发布AI全自动预训练框架ForgeTrain,8小时追平Megatron-LM

面壁智能发布全球首个完全由AI编写、无人类干预的生产级大模型预训练框架ForgeTrain。该框架针对特定模型和硬件从零自动“锻造”专用训练代码。基准测试显示,ForgeTrain在8小时内追平Megatron-LM,1.5至2天内实现稳定反超,模型FLOPS利用率提升约8%~10%,且可迁移至不同模型(MiniCPM4-0.5B/8B)和硬件(H100及昇腾NPU)。其采用四阶段Harness优化流程,全程自动判定。面壁智能将其工程思想概括为Forge Engineering。


推荐理由:这是AI编写生产级训练框架的首个实证,8小时追平Megatron-LM并反超,证明AI打穿Infra的范式已到临界点,做训练框架和Infra的都该看看。
10:34
HuggingFace Daily Papers(社区热门论文)精选
AI 评分 74/100
Program-as-Weights:一种面向模糊函数的编程范式

Program-as-Weights (PAW) 提出模糊函数编程范式,将自然语言描述的函数编译为紧凑、可本地执行的神经制品。PAW 使用在 10M 示例数据集 FuzzyBench 上训练的 4B 编译器,为冻结的轻量级解释器输出参数高效适配器。0.6B 的 Qwen3 解释器执行 PAW 程序性能匹敌直接提示 Qwen3-32B,推理内存仅约五十分之一,在 MacBook M3 上达 30 tokens/s。该方法将基础模型从每次输入的求解器重新定义为工具构建器,一次函数定义后生成的制品可离线廉价复用。


推荐理由:这篇论文把模糊任务从调用大模型API变成了本地轻量函数,0.6B就能跑赢32B,省掉几十倍成本。对需要处理日志、JSON修复等经常性模糊任务的开发者是个真信号。
05:08
MarkTechPost(RSS)精选
AI 评分 70/100
阿里巴巴发布 Page Agent:开源 JavaScript 库实现网页 DOM 自然语言操控

阿里巴巴发布 Page Agent,一个开源的 JavaScript 客户端库,嵌入网页后可通过自然语言指令直接操作 DOM 元素。与 Playwright、Puppeteer 等外部浏览器自动化工具不同,Page Agent 不依赖截图或多模态模型,而是将实时 DOM 脱水压缩为 FlatDomTree 文本映射,让纯文本模型精准执行点击、表单填写等操作。它继承用户 cookies 和会话,无需独立后端,并支持任意 OpenAI 兼容端点的模型(示例使用 qwen3.5-plus)。项目采用 MIT 许可证,适合在自有应用内构建 AI 副驾、智能表单填充或无障碍控制等场景,但限于单页面范围,风险操作仍需服务端验证。


推荐理由:Page Agent 把浏览器自动化从外部驱动变成页面内 JS,读 DOM 而非截图,让 SaaS 内的 AI 助手成本更低、更精准,适合自己产品内嵌 copilot 的团队。
03:45
The Decoder:AI News(RSS)精选
AI 评分 78/100
Microsoft 成立"Frontier Company",斥资 25 亿美元派驻 6000 名 AI 工程师到企业客户现场

Microsoft 新设业务部门“Frontier Company”,拨款 25 亿美元,将 6000 名行业与工程专家派驻企业客户现场,“共同设计、共同创新、部署并持续改进 AI 系统”。该部门由 Rodrigo Kede Lima 领导,旨在超越“前部署工程”模式,成为“最大、以结果为导向的工程组织”。Microsoft 将自己定位为 OpenAI 和 Anthropic 的“平台中立”替代方案,后两者也已设立专门部署公司。Microsoft 将借助埃森哲、凯捷、安永等系统集成商扩大覆盖范围。


推荐理由:微软砸 25 亿美元成立 Frontier Company,把 6000 名工程师直接塞进企业客户现场,正面应战 OpenAI 和 Anthropic 的部署子公司。这一手既是补齐落地能力也是巩固生态,对 CIO 来说是选择多了,但对 AI 行业意味着部署军备竞赛正式开打。