跳到正文
#部署/工程
今天10月16日周五16 条
  4. StepFun56

    阶跃星辰发推感谢 RadixArk 为 Step 5 Preview 提供生产环境推理支持。被引用的 RadixArk 祝贺 Step 5 Preview 开放权重，称其以 SGLang 及缓存感知路由栈支撑阶跃星辰第一方生产 API，在严格延迟要求下实现高效的 token 经济性，并邀请用户用 SGLang 部署 Step 5 Preview。阶跃星辰表示很高兴看到 SGLang 在真实工作负载上实现高效可扩展推理。

    引用RadixArk@radixark

    Congratulations to @StepFun_ai on Step 5 Preview going open weights! RadixArk is proud to help power StepFun's first-party production API with SGLang at scale. Production inference means great token economics under strict latency requirements. SGLang and its cache-aware routing stack now bring that to Step 5 Preview in proven production traffic. Building with Step 5 Preview? Deploy with SGLang today!

  8. GitHub Blog50

    GitHub 如何用 Evergreen 自动化共享组织的访问审查与仓库清理

    GitHub 用原生功能构建的 GitHub App Evergreen，通过两个工作流自动化组织卫生：每季度审查外部协作者访问权限，未响应即默认撤销；检测并归档长期无人类活动的仓库，且从不删除仓库内容。它由 Go webhook 服务器驱动，状态以 JSON 文件提交到 controller repo，用 git 历史充当审计记录，决策通过仓库内的 checklist issue 完成。

  9. LMSYS Blog64

    SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持

    SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open（816B 参数、约 42B 激活、1M token 上下文）提供 Day-0 推理支持，权重提供 NVFP4 和 BF16 两种格式。

    推荐理由：原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据，读者可以据此评估大规模部署该模型的可行路径。

  15. Apple Machine Learning Research60

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型

    Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。

    推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。

10月15日周四
  3. Databricks：Blog29

    FactSet 如何用 Databricks AI Runtime 将 TTF 模型训练部署从数天缩短到数小时

    FactSet 借助 Databricks AI Runtime 的无服务器 GPU 基础设施，将其 Text-to-Formula（TTF）模型的搭建、训练与部署周期从数天缩短到数小时。该团队每两到三周微调一次基于 Llama 的模型，此前引入微调模型已使端到端延迟降低约 60%。训练流程与 MLflow、Lakehouse 治理环境打通，无需单独维护 GPU 栈。

  4. IT之家·人工智能61

    Anthropic 弃用 Git，自研版本控制系统 Scion

    Anthropic 宣布弃用 Git，改用自研版本控制系统 Scion，将提交、合并、变基和文件历史查询等操作放到服务器端执行。原因是其代码合并量从 5 月日均 2500 次增至 9 月超 3 万次，Git 已无法满足需求；Scion 的 CPU 和内存消耗仅为 Git 的两百分之一，CI 和研究任务代码检出从几分钟缩短到几秒。

  8. Ant Ling50

    蚂蚁百灵发推感谢 SGLang 为 Ling-3.1-flash 提供 day-zero 支持，帮助开发者更高效地部署该模型。SGLang 介绍其为 560B 参数 MoE 混合推理模型、25B 激活、1M 上下文，经 MXFP4 与 block-FP8 量化后权重从约 534GB 降至约 292GB，可在 4 张 Hopper GPU 上运行，并称其在 GDPVal-AA、FrontierSWE、Terminal-Bench 4.0 等 agent、办公与编码任务上表现良好。

    引用SGLang@sgl_project

    SGLang has Day-0 support for Ling-3.1-flash from @AntLingAGI! A 560B MoE hybrid reasoning model, 25B active, 1M context, built for real work: it turns a rough brief into a page, mobile UI, or interactive prototype. ✅ MXFP4 + block-FP8 quantization cuts weights from ~534GB to ~292GB, fitting on 4 Hopper GPUs ✅ Strong on real-world agent, office, and coding tasks, including GDPVal-AA, FrontierSWE, and Terminal-Bench 4.0. Get started with SGLang:

  9. Ant Ling58

    蚂蚁百灵感谢 vLLM 对 Ling-3.1-flash 提供 Day-0 支持，开发者可从第一天起用 vLLM 在自有基础设施上运行该模型。vLLM 侧信息显示该模型总参数约 560B、每 token 激活约 25B、支持最高 1M 上下文，可从简单需求描述生成网站、移动 UI 和交互原型。

    引用vLLM@vllm_project

    🎉 Day-0 support for Ling-3.1-flash is here in vLLM! ~560B total parameters, ~25B active per token, and up to 1M context. From a rough brief to websites, mobile UIs, and interactive prototypes—serve it on your own infrastructure with vLLM. Congrats to @AntLingAGI!

  11. meng shao58

    Modal 宣布年化经常性收入（ARR）突破 $1B，并完成 $750M D 轮融资，投后估值 $15.75B。作者转发这一消息并表示祝贺。图片显示 Modal 五个月前刚宣布 C 轮，此后用量增至三倍，同比增长超过 15 倍。

    引用meng shao@shao__meng

    Modal @modal 这份「GPU 术语手册」做的太友好了，它把整个 GPU 技术栈拆成四个相互勾连的层面：设备硬件、设备软件（执行模型）、主机软件（驱动与工具链）、性能分析，每个词条都密集交叉链接，既可以按需查阅单个术语，也可以从头到尾线性通读。 理解这份手册从「CUDA」开始，CUDA 有三重含义：一种设备架构、一个并行编程模型、一个软件平台。这份手册的四个章节恰好分别展开这三个含义加上性能分析。 GPU Glossary 四个章节： 1. 设备硬件：GPU 的物理解剖 - CPU 用复杂核心避免延迟，GPU 用海量简单线程隐藏延迟 2. 设备软件：CUDA 的执行模型 - 线程层级、内存层级、硬件三层严格同构，程序员亲手管理内存 3. 主机软件：驱动、工具链与库 - Runtime 包着 Driver，闭源库拿来即用，CUTLASS 一系负责构造自己的 kernel 4. 性能分析：完整诊断链 - 定瓶颈 → roofline 定性 → 利用率定位 → warp 机制 → 访存模式 → 资源约束 这三句总结很到位 GPU 的本质是“单周期切换海量简单线程来隐藏延迟”；编程的本质是“沿线程-内存-硬件的同构层级，把数据在正确的层级间搬运，把算术强度做到岭点以上”；性能工程的本质是“沿诊断链逐层定位，用 Little 定律算够并发，不为中间指标（如占用率）本身而优化。 https://modal.com/gpu-glossary

  14. vLLM 官方博客60

    vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

    vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。

    推荐理由：原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据，方法可直接在 vLLM 中配置复用。

  15. 🚨 AI News | TestingCatalog46

    Claude Managed Agents、Messages API 和 Claude SDK 现已支持 OpenTelemetry traces。 > 默认情况下，它们会包含时长、状态、token 数量、模型和工具名称。 Anthropic 正在稳步增强其云平台，而支持 OpenTelemetry 是迈向借助 Grafana、Splunk 等工具实现 AI 可观测性的重要一步。 Traces 对测试也很有用！👀 https://x.com/ClaudeDevs/status/2110421732029063352/video/1

  16. 🚨 AI News | TestingCatalog56

    Inworld 推出面向消费级 AI 应用的 LLM 推理 API Inworld Inference，支持 Gemma 4、GLM、DeepSeek、MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟 0.17 秒，比 OpenRouter 其他服务商中位数快 3.6 倍，95 分位快 7.8 倍，并支持首个模型失败或超时后自动切换备用模型。

    引用Inworld AI@inworld

    Inworld is your new favorite inference provider. We already process tens of trillions of tokens a month because we understand consumer AI different, and we've built our inference from the ground up for it. Today, the inference top consumer AI apps run on is opening up.

  21. vLLM 官方博客50

    vLLM 推出基于 push 的 KV 传输，分离式推理 TTFT 最高提升 3 倍

    vLLM 新增 push-based NIXL connector，将 KV 传输的协调与建立从解码关键路径移到预填充侧后台线程，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证，后作为加速器无关特性贡献给 vLLM，GPU 集群同样受益。

  22. Aravind Srinivas32

    我们撰文介绍了我们的沙箱平台如何支撑 Perplexity 上的每日流量，每天处理数百万次执行，错误率很低，同时仍使用多台机器来降低服务成本。

    引用Perplexity@perplexity_ai

    Our sandbox, SPACE, handles millions of executions a day with an error rate below 0.0002%. We’re sharing how it uses cryptographic identity to keep requests tied to the right execution as sandboxes pause, resume, and move. Read more: https://www.perplexity.ai/hub/blog/how-space-routes-requests-to-the-right-sandbox-execution