跳到正文
10月7日周三
10月6日周二
  1. Databricks:Blog48

    IFCO 如何在 Databricks 上扩展和运维大型 dbt 项目:性能、可见性与调试

    IFCO 数据平台团队与 Databricks Forward Deployed Engineering 合作,将核心语义层作业的每日运行时间缩短超过 60%,并停用了昂贵的夜间全量刷新。改造后转换逻辑仍留在 dbt 中,运行在 Databricks 上,通过 Liquid clustering、merge 增量策略和行哈希校验等配置,让每次运行只触碰实际变更的数据。

  2. Cerebras:Blog36

    Cerebras 如何用 WSE 在真实硬件上加速大规模 MoE 模型

    Cerebras 发文解析大规模 MoE 模型在真实硬件上的扩展难题:GPU 上需依赖专家并行(EP)等多种并行策略,专家负载不均会拖累硬件利用率,且通信开销随专家数量增加而恶化。Cerebras WSE 凭借约为最新单 GPU 900 倍的片上 SRAM 和 weight streaming 技术,无需分布式计算即可在单台设备上训练万亿参数 MoE 模型。

  3. NVIDIA Technical Blog:Agentic AI / Generative AI33

    NVIDIA 在 Megatron Core 中降低比特级确定性预训练开销

    NVIDIA 在 Megatron Core 中降低比特级确定性预训练的开销,并以万亿参数 Nemotron 模型为案例验证。该方案提供独立可复现与比特级断点续训两项保证,通过逐步指纹比对训练损失、梯度范数等指标定位首个不一致步骤,并借助从迭代到 kernel 的渐进式追踪排查分歧来源。

10月5日周一
  1. Together AI 研究与产品博客61

    Together AI 推出 Together Link,一键在现有编码智能体中接入开源模型并降费超 50%

    Together AI 发布 Together Link,把团队已用的编码智能体工具连接到 Together AI 上的开源模型,宣称可节省超过 50% 支出。

    推荐理由:原文给出支持的工具清单、Auto 路由机制和每会话费用对比方式,读者可评估它能否直接嵌入现有编码智能体工作流。

  2. Modal 官方工程博客43

    TypeSafe AI 在 Modal 上三天内将 Jev 扩展至超万亿 token

    TypeSafe AI 的首个模型 Jev 在 Modal 上于发布后三天内处理超 1 万亿 token,并在 OpenRouter 1K-10K token 上下文榜单登顶,承接 15.1% 的请求。Jev 并非大语言模型,而是非自回归的 System One Model,以状态和问题为输入,并行输出带概率的结构化类型值,训练采用自研的 RLCD 方法。

10月3日周六
  1. Baseten 工程博客64

    Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

    Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

    推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。

  2. Prime Intellect61

    Prime Intellect 发布推理服务平台 Prime Inference

    Prime Intellect 发布 Prime Inference,提供 serverless 端点与预留容量,在多数据中心 GPU 基础设施上服务前沿开源模型,内部每天处理近一万亿 token。

    推荐理由:作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径,工程细节对做推理服务的人有可参考之处。

10月2日周五
  1. Cerebras:Blog42

    Cerebras 如何从零实现解耦推理:异构解耦将吞吐提升 5 倍

    Cerebras 用解耦(disaggregation)技术在同数量系统上把推理吞吐提升 5 倍,且不损失 token 生成速度。其异构解耦方案把推理中受内存或算力约束的不同阶段分配到不同芯片上,从而获得超越同构解耦的收益。这是该系列文章的第一篇,从加速器的算力与内存带宽、算术强度讲起,解释 prefill 与 decode 阶段对硬件的不同需求。

  2. Modal 官方工程博客61

    Modal 正式发布 VM Sandboxes:给 Agent 一台完整的 Linux 虚拟机

    Modal 宣布 VM Sandboxes 正式 GA,只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM,沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力,早期客户已启动超过 2000 万个 VM。

    推荐理由:Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法,对需要给 Agent 配完整机器的开发者有直接参考价值。

10月1日周四
  1. OpenRouter:Announcements67

    OpenRouter 教程:如何在 CI 中用 LLM eval 门禁拦截 Pull Request

    OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。

    推荐理由:原文给出了从脚本到 GitHub Actions 的完整可复现流程,并强调了路径过滤须放 job 层、阈值应实测等易错点。

  2. OpenRouter:Announcements67

    OpenRouter 发布 Agent 模型成本与质量权衡选型框架

    OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。

    推荐理由:原文给出可复用的三步选型方法,读者可以据此按任务质量门槛测量并选出成本最低的够用模型。

  3. OpenRouter:Announcements68

    OpenRouter 指南:用置信度阈值实现模型分级升级路由

    OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。

    推荐理由:原文给出按置信度分数分级路由的完整做法,读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。

  4. NVIDIA Technical Blog:Agentic AI / Generative AI40

    NVIDIA 扩展 xio-sig 加入 cuObject,并发布 SCADA Server SDK

    NVIDIA 宣布 xio-sig 在 cuFile 之外新增 cuObject,并正式开放 cuObject 客户端与服务器库,开发者可通过其 API 和 RDMA 线协议构建加速对象存储应用。同步推出的 SCADA Server SDK 让存储厂商构建响应 GPU 发起请求的 SCADA 服务器,IBM 已用集成 Storage Scale 的原型验证互操作性。

  5. Databricks:Blog37

    Lakebase Postgres 成本优化实用指南

    Databricks 的 Lakebase Postgres 通过存储计算分离架构实现成本优化:数据库分支共享底层存储,避免为每个环境复制物理副本;自动扩缩容按实际用量计费,配合 scale to zero 可在闲置后完全暂停计算,几百毫秒内恢复。

  6. NVIDIA Technical Blog:Agentic AI / Generative AI49

    用 NVIDIA NeMo Relay 追踪 Hermes Agent 的 Harness 行为

    NVIDIA 发布教程,演示如何用 NeMo Relay 追踪 Hermes Agent 的 harness 行为:运行终端工具与文件加网页研究两个示例,通过 ATOF、ATIF 和 OpenTelemetry 三种格式的 trace 检查模型与工具调用、错误、重试、耗时和 token 消耗,并结合任务验证结果评估 harness 改动。

9月30日周三
  1. Claude:Blog57

    Anthropic 销售团队如何用 Claude Managed Agents 重建 inbound 流程

    Anthropic 销售团队基于 Claude Managed Agents(beta)搭建购买智能体,每天处理数千场对话,引导客户从咨询到完成购买。转化的销售机会是旧表单的两倍多,成交快约五天,需人工介入的对话占比下降约一半。文章介绍了部署位置、三种会话结局,以及给目标而非规则、少即是多、引入领域专家等构建经验。