跳到正文
10月6日周二
  1. NVIDIA Technical Blog:Agentic AI / Generative AI33

    NVIDIA 在 Megatron Core 中降低比特级确定性预训练开销

    NVIDIA 在 Megatron Core 中降低比特级确定性预训练的开销,并以万亿参数 Nemotron 模型为案例验证。该方案提供独立可复现与比特级断点续训两项保证,通过逐步指纹比对训练损失、梯度范数等指标定位首个不一致步骤,并借助从迭代到 kernel 的渐进式追踪排查分歧来源。

10月5日周一
  1. Together AI 研究与产品博客61

    Together AI 推出 Together Link,一键在现有编码智能体中接入开源模型并降费超 50%

    Together AI 发布 Together Link,把团队已用的编码智能体工具连接到 Together AI 上的开源模型,宣称可节省超过 50% 支出。

    推荐理由:原文给出支持的工具清单、Auto 路由机制和每会话费用对比方式,读者可评估它能否直接嵌入现有编码智能体工作流。

  2. Modal 官方工程博客43

    TypeSafe AI 在 Modal 上三天内将 Jev 扩展至超万亿 token

    TypeSafe AI 的首个模型 Jev 在 Modal 上于发布后三天内处理超 1 万亿 token,并在 OpenRouter 1K-10K token 上下文榜单登顶,承接 15.1% 的请求。Jev 并非大语言模型,而是非自回归的 System One Model,以状态和问题为输入,并行输出带概率的结构化类型值,训练采用自研的 RLCD 方法。

10月4日周日
  1. IT之家·人工智能49

    卡普空公布 REX 计划:将 RE 引擎改造为面向 AI 时代的游戏引擎

    卡普空在“卡普空公开大会 RE:2026”上公布 REX 计划,将分阶段升级现有 RE 引擎而非从零开发,使其适配 AI 时代。该计划以“全球最为通用的编程语言”为基础统一改造引擎,便于开发者使用和 AI 解读,AI 后续可理解并编写新程序、开展游戏试玩测试及排查程序漏洞。REX 将从引擎运行效率、性能、配套工具、质量检测等方面入手,解决 3A 游戏体量庞大、开发耗时等难题。

10月3日周六
  1. Baseten 工程博客64

    Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

    Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

    推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。

  2. Prime Intellect61

    Prime Intellect 发布推理服务平台 Prime Inference

    Prime Intellect 发布 Prime Inference,提供 serverless 端点与预留容量,在多数据中心 GPU 基础设施上服务前沿开源模型,内部每天处理近一万亿 token。

    推荐理由:作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径,工程细节对做推理服务的人有可参考之处。

10月2日周五
  1. 🚨 AI News | TestingCatalog48

    Volantis 完成 8800 万美元 A 轮融资,由 Lachy Groom 和 Abstract 联合领投,John Doerr、Susa Ventures、VXI Capital、Triatomic Capital 参投。

    引用Tapa Ghosh@semiDL

    Excited to announce Volantis's $88M Series A. We are solving Al's memory bottleneck by using optics, enabling chips with huge amounts of fast & cheap memory. By boosting both the memory bandwidth and capacity per chip by orders of magnitude, we enable ultra-fast inference (up to 10,000 tps/user) for large models (>10T) - with low $/tok to boot. Initially, this will enable insanely fast agents - think coding agents that finish in minutes or even seconds instead of hours. More excitingly, optics is a fundamentally scalable way to increase memory systems. Not 2X/year, but by orders of magnitude across new generations. This will enable a structurally new Al industry, including restarting scaling laws, holding entire repos in context windows & more. Our team has pioneered many core semiconductor technologies: the 1st CoWoS product, early HBM, the 1st silicon photonics CPO systems, the 1st high volume tunable VCSELs, the 1st processors to directly communicate using light & more. We’ve already sent data >10× farther than equally tiny electrical wires inside a chip package. Our next iteration is already taped out and targets world-record bandwidth density over relevant distances, read more: https://volantissemi.ai/news-insights/our-88m-series-a-demolishing-the-memory-wall-with-photonics-post

  2. Rohan Paul60

    Volantis 宣布 8800 万美元 A 轮融资,累计融资 9700 万美元,投资人包括 Sam Altman、Jeff Dean 和 John Doerr,目标是在超过 10T 参数的模型上实现每用户 10,000 tokens/秒的推理。

    引用Tapa Ghosh@semiDL

    Excited to announce Volantis's $88M Series A. We are solving Al's memory bottleneck by using optics, enabling chips with huge amounts of fast & cheap memory. By boosting both the memory bandwidth and capacity per chip by orders of magnitude, we enable ultra-fast inference (up to 10,000 tps/user) for large models (>10T) - with low $/tok to boot. Initially, this will enable insanely fast agents - think coding agents that finish in minutes or even seconds instead of hours. More excitingly, optics is a fundamentally scalable way to increase memory systems. Not 2X/year, but by orders of magnitude across new generations. This will enable a structurally new Al industry, including restarting scaling laws, holding entire repos in context windows & more. Our team has pioneered many core semiconductor technologies: the 1st CoWoS product, early HBM, the 1st silicon photonics CPO systems, the 1st high volume tunable VCSELs, the 1st processors to directly communicate using light & more. We’ve already sent data >10× farther than equally tiny electrical wires inside a chip package. Our next iteration is already taped out and targets world-record bandwidth density over relevant distances, read more: https://volantissemi.ai/news-insights/our-88m-series-a-demolishing-the-memory-wall-with-photonics-post

  3. MarkTechPost53

    Google Research 的 Kauldron 实战教程:纯数据配置、字符串接线和端到端可读的 JAX Trainer

    教程实测 Google Research 的 JAX 训练库 Kauldron 1.4.2,验证其研究速度与模块化两个卖点。konfig 把实验配置变成可 JSON 序列化的纯字典树并用 cfg.ref 引用避免值冻结,kontext 用字符串 key path 接线组件使损失与模型互不导入,ktyping 在运行时按命名轴检查形状并在报错时给出轴绑定信息。

  4. Cerebras:Blog42

    Cerebras 如何从零实现解耦推理:异构解耦将吞吐提升 5 倍

    Cerebras 用解耦(disaggregation)技术在同数量系统上把推理吞吐提升 5 倍,且不损失 token 生成速度。其异构解耦方案把推理中受内存或算力约束的不同阶段分配到不同芯片上,从而获得超越同构解耦的收益。这是该系列文章的第一篇,从加速器的算力与内存带宽、算术强度讲起,解释 prefill 与 decode 阶段对硬件的不同需求。

  5. Modal 官方工程博客61

    Modal 正式发布 VM Sandboxes:给 Agent 一台完整的 Linux 虚拟机

    Modal 宣布 VM Sandboxes 正式 GA,只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM,沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力,早期客户已启动超过 2000 万个 VM。

    推荐理由:Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法,对需要给 Agent 配完整机器的开发者有直接参考价值。

  6. Google AI:DEV 作者专属46

    在 PostgreSQL 中实现亚秒级语义过滤:AlloyDB 集成超快 Jev 模型

    AlloyDB for PostgreSQL 通过模型端点管理接入 TypeSafe AI 的 Jev 模型,可在数据库内直接执行布尔判断与多分类等语义评估,无需预先准备嵌入向量。Jev 面向毫秒级结构化输出优化,配合 ai.if 和 ai.analyze_sentiment 等原生函数,在 3 万条商品数据的电商数据集上实现高吞吐语义查询。

10月1日周四
  1. Every:最新文章60

    Every 发布开源模型入门指南,教你怎么判断哪些任务可以不用闭源前沿模型

    Every 发布开源模型实用指南,讲解如何评估需求、选择模型与托管方式,将开放模型用于编码、创意和日常自动化等工作。指南指出当下最强开源模型多来自中国实验室,并强调按任务难度区分模型选择,同时附上一个用于审计现有 AI 用法、筛选可迁移到廉价模型任务的提示词。全文为付费订阅内容。