跳到正文
#部署/工程
10月15日周四
  2. Ant Ling50

    蚂蚁百灵发推感谢 SGLang 为 Ling-3.1-flash 提供 day-zero 支持，帮助开发者更高效地部署该模型。SGLang 介绍其为 560B 参数 MoE 混合推理模型、25B 激活、1M 上下文，经 MXFP4 与 block-FP8 量化后权重从约 534GB 降至约 292GB，可在 4 张 Hopper GPU 上运行，并称其在 GDPVal-AA、FrontierSWE、Terminal-Bench 4.0 等 agent、办公与编码任务上表现良好。

    引用SGLang@sgl_project

    SGLang has Day-0 support for Ling-3.1-flash from @AntLingAGI! A 560B MoE hybrid reasoning model, 25B active, 1M context, built for real work: it turns a rough brief into a page, mobile UI, or interactive prototype. ✅ MXFP4 + block-FP8 quantization cuts weights from ~534GB to ~292GB, fitting on 4 Hopper GPUs ✅ Strong on real-world agent, office, and coding tasks, including GDPVal-AA, FrontierSWE, and Terminal-Bench 4.0. Get started with SGLang:

  3. Ant Ling58

    蚂蚁百灵感谢 vLLM 对 Ling-3.1-flash 提供 Day-0 支持，开发者可从第一天起用 vLLM 在自有基础设施上运行该模型。vLLM 侧信息显示该模型总参数约 560B、每 token 激活约 25B、支持最高 1M 上下文，可从简单需求描述生成网站、移动 UI 和交互原型。

    引用vLLM@vllm_project

    🎉 Day-0 support for Ling-3.1-flash is here in vLLM! ~560B total parameters, ~25B active per token, and up to 1M context. From a rough brief to websites, mobile UIs, and interactive prototypes—serve it on your own infrastructure with vLLM. Congrats to @AntLingAGI!

  5. meng shao58

    Modal 宣布年化经常性收入（ARR）突破 $1B，并完成 $750M D 轮融资，投后估值 $15.75B。作者转发这一消息并表示祝贺。图片显示 Modal 五个月前刚宣布 C 轮，此后用量增至三倍，同比增长超过 15 倍。

    引用meng shao@shao__meng

    Modal @modal 这份「GPU 术语手册」做的太友好了，它把整个 GPU 技术栈拆成四个相互勾连的层面：设备硬件、设备软件（执行模型）、主机软件（驱动与工具链）、性能分析，每个词条都密集交叉链接，既可以按需查阅单个术语，也可以从头到尾线性通读。 理解这份手册从「CUDA」开始，CUDA 有三重含义：一种设备架构、一个并行编程模型、一个软件平台。这份手册的四个章节恰好分别展开这三个含义加上性能分析。 GPU Glossary 四个章节： 1. 设备硬件：GPU 的物理解剖 - CPU 用复杂核心避免延迟，GPU 用海量简单线程隐藏延迟 2. 设备软件：CUDA 的执行模型 - 线程层级、内存层级、硬件三层严格同构，程序员亲手管理内存 3. 主机软件：驱动、工具链与库 - Runtime 包着 Driver，闭源库拿来即用，CUTLASS 一系负责构造自己的 kernel 4. 性能分析：完整诊断链 - 定瓶颈 → roofline 定性 → 利用率定位 → warp 机制 → 访存模式 → 资源约束 这三句总结很到位 GPU 的本质是“单周期切换海量简单线程来隐藏延迟”；编程的本质是“沿线程-内存-硬件的同构层级，把数据在正确的层级间搬运，把算术强度做到岭点以上”；性能工程的本质是“沿诊断链逐层定位，用 Little 定律算够并发，不为中间指标（如占用率）本身而优化。 https://modal.com/gpu-glossary

  8. vLLM 官方博客60

    vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

    vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。

    推荐理由：原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据，方法可直接在 vLLM 中配置复用。

  9. 🚨 AI News | TestingCatalog46

    Claude Managed Agents、Messages API 和 Claude SDK 现已支持 OpenTelemetry traces。 > 默认情况下，它们会包含时长、状态、token 数量、模型和工具名称。 Anthropic 正在稳步增强其云平台，而支持 OpenTelemetry 是迈向借助 Grafana、Splunk 等工具实现 AI 可观测性的重要一步。 Traces 对测试也很有用！👀 https://x.com/ClaudeDevs/status/2110421732029063352/video/1

  10. 🚨 AI News | TestingCatalog56

    Inworld 推出面向消费级 AI 应用的 LLM 推理 API Inworld Inference，支持 Gemma 4、GLM、DeepSeek、MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟 0.17 秒，比 OpenRouter 其他服务商中位数快 3.6 倍，95 分位快 7.8 倍，并支持首个模型失败或超时后自动切换备用模型。

    引用Inworld AI@inworld

    Inworld is your new favorite inference provider. We already process tens of trillions of tokens a month because we understand consumer AI different, and we've built our inference from the ground up for it. Today, the inference top consumer AI apps run on is opening up.

  15. vLLM 官方博客50

    vLLM 推出基于 push 的 KV 传输，分离式推理 TTFT 最高提升 3 倍

    vLLM 新增 push-based NIXL connector，将 KV 传输的协调与建立从解码关键路径移到预填充侧后台线程，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证，后作为加速器无关特性贡献给 vLLM，GPU 集群同样受益。

  16. Aravind Srinivas32

    我们撰文介绍了我们的沙箱平台如何支撑 Perplexity 上的每日流量，每天处理数百万次执行，错误率很低，同时仍使用多台机器来降低服务成本。

    引用Perplexity@perplexity_ai

    Our sandbox, SPACE, handles millions of executions a day with an error rate below 0.0002%. We’re sharing how it uses cryptographic identity to keep requests tied to the right execution as sandboxes pause, resume, and move. Read more: https://www.perplexity.ai/hub/blog/how-space-routes-requests-to-the-right-sandbox-execution

10月14日周三
  2. Modal 官方工程博客71

    Modal 年化收入突破 10 亿美元并完成 7.5 亿美元 D 轮融资

    Modal 宣布年化收入突破 10 亿美元，并完成 7.5 亿美元 D 轮融资，投后估值 157.5 亿美元，由 Accel 领投，Kleiner Perkins 及现有投资方跟投。

    推荐理由：作者作为当事方给出融资规模、估值和业务数据，并说明自研底层技术栈与新产品线，读者可据此了解 Modal 的增长轨迹。

  5. Baseten 工程博客36

    Runway 视频模型 Gen-4.5 与 Aleph 2.0 上线 Baseten 专属部署

    Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现可通过 Baseten 进行专属部署，用户可从 Runway 直接授权模型权重，在单租户隔离环境中运行。Aleph 2.0 支持最长 30 秒、1080p 的多场景视频编辑，并可在自有数据上微调模型。Baseten 为该部署提供 99.99% 可用性 SLA，并覆盖 SOC 2 Type II 与 HIPAA 合规。

  7. 公众号：卡尔的AI沃茨61

    豆包工作上线 AI 资产一键迁移，支持从 ChatGPT 和 Claude Code 导入对话、技能与记忆

    豆包工作上线 AI 资产一键迁移功能，支持把 ChatGPT 和 Claude Code 里的对话、技能（skill、connector、custom instructions）和记忆导入继续使用，作者机器上检测到 Claude 240 项、ChatGPT 682 项可导入，一两分钟完成，导入的历史会话可继续对话且上下文连贯。

  12. Databricks：Blog31

    Databricks 实用指南：2026 年如何用湖仓一体做实时分析

    Databricks 发布《2026 年实时分析实用指南》，提出实时分析应作为湖仓一体的能力，而非另建 Apache Druid、Apache Pinot、ClickHouse 等专用服务引擎。文章用新鲜度、延迟、并发三个维度界定实时负载，并给出判断工作负载是否需要实时分析的评估框架，以及金融、零售、制造等行业的应用场景。

  15. Cursor：Changelog51

    Cursor Origin 应用市场上线，集成 20 多款应用并开放公众提交

    Cursor 宣布 Origin 应用市场上线，已集成 20 多款应用，覆盖部署、CI、代码审查、安全、监控和项目管理，合作伙伴包括 Cloudflare、Linear、Sentry 和 Socket Security。市场即日起向公众开放提交，团队可基于 Origin API 构建应用，经审核后上架；官方还提供发布指南、API 参考和 Origin Apps 插件辅助开发与迁移。

  16. Rohan Paul41

    RouterPlus 把多个团队的需求聚合成一个大单与推理服务商谈价，各团队按自身流量份额享受该费率，让小团队无需成为大买家也能拿到批量定价。它还会用你的真实用量测试模型，挑出够用且成本最低的那个，避免每个任务都付费调用顶级模型。该产品来自 YC F26，已上线。

    引用Alok Bishoyi@alokbishoyi97

    Getting your inference right shouldn't be hard. @useRouterPlus (YC F26) is live: the right model and provider for your workload, at the best price. check out : https://routerplus.com/capacity

  20. Anthropic：Engineering72

    Anthropic 自研版本控制系统 Scion，五个月完成 monorepo 从 git 迁移

    Anthropic 发布工程复盘，因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000，五个月内自研版本控制系统 Scion 并完全替代 git，同时推出代码评审工具 Antique。

    推荐理由：Anthropic 自建版本控制系统 Scion 的完整复盘，给出面向智能体规模负载的设计原则、架构细节和实测收益，可迁移到其他大规模仓库场景。