#部署/工程

苹果 Minions 研究：用闲置 Mac GPU 组建虚拟 GPU 云跑 AI 推理

苹果研究团队公布 Minions 系统研究，将闲置 Mac 的 Apple Silicon GPU 聚合为可动态调度的“虚拟 GPU 云”，用于大规模机器学习推理。

Artificial Analysis@ArtificialAnlys· 01:38AI 评分4242

Artificial Analysis 将 AMD MI355X 纳入 AA-AgentPerf 基准，覆盖 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro，并与 NVIDIA B200/B300 对比编码智能体推理性能。

Modal 探索用混合精度、混合加速器采样器做大规模 RL 训练

Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中，用跨六种加速器（B200、B300、H100、H200。

Minions：基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

Apple 研究团队提出 Minions，一个将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来、执行大规模机器学习推理的动态分布式虚拟 GPU 云。该系统支持灵活的 GPU 推理任务执行、容错和高效资源利用，让团队无需额外采购 GPU 即可利用现有硬件。经验表明，在集中式 GPU 资源受限的环境中，闲置 macOS 设备可转化为实用的分布式 GPU 推理平台。

NVIDIA 与普林斯顿发布 ReplaySSM：缓存 SSM 输入而非状态，加速混合模型解码

NVIDIA 与普林斯顿 Dao AI Lab 发布 ReplaySSM，将 SSM 状态表示为检查点加近期输入缓冲，减少状态内存流量、简化投机解码回滚并限制量化误差累积。

Rohan Paul@rohanpaul_ai· 12:01AI 评分4040

清华论文提出 TokenRouter，一个在 token 级进行大小模型路由的服务系统，吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题，TokenRouter 让每个模型独立部署并来回传递半成品答案，同时保留 KV cache，并短暂挂起请求以凑更大批次。

Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器

Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。

Zyphra 研究：MoE 预训练中的专家耦合（Expert Coupling）

Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置，从而降低 all-to-all 通信开销。实验显示，在 8 台 MI300x 节点集群上，EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%（top-2 路由），top-6 路由下则从 24% 升至 60%。

林肯实验室 LAICS 调查记录 AI 硬件演进：从 57 款到 120 多款加速器

林肯实验室超级计算中心（LLSC）的 Lincoln AI Computing Survey（LAICS）系列调查已从首篇覆盖 57 款 AI 加速器扩展到最新一篇的 120 多款，持续对比各款商用加速器的峰值性能与峰值功耗。

Nvidia SoL-Pi 系统优化 agent harness，编码任务 token 用量减少近一半

Nvidia 研究人员提出 SoL-Pi 系统，用研究 agent 自动优化编码 agent 的控制层（harness），在 EdgeBench 上相比 Codex 节省 50%、相比 Claude Code 节省 54.3% 的 token，性能与原 Pi harness 大致持平。

SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级，Nebius 晋级铂金

SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级报告，覆盖 77 家 neocloud 并将市场观察范围从 209 家扩至 323 家，Nebius 与 CoreWeave 同列铂金，Google Cloud 加入 Oracle 所在的金级，Azure 降至银级，全球仅 19 家获得奖牌评级。

微软研究院：机器人推理卸载至边缘/云端可显著提升性能与续航

微软研究院发布关于物理AI机器人推理基础设施的研究。通过系统评估移动操作任务，发现将推理从机载GPU卸载至边缘或云端，能解决机载算力限制模型规模、导致响应延迟（最高383%）及精度下降的问题。实验显示，卸载推理不仅提升了任务成功率，还通过替换高功耗机载GPU为轻量硬件（如树莓派），使机器人电池寿命延长高达160%。此外，微软推出了基于Kubernetes的Physical AI Toolchain工具集，支持自动化容器化与分布式推理部署。

DeepSeek 发表 DSec 论文公开 Agent 训练沙盒基础设施，梁文锋署名

DeepSeek 发布 DSec（DeepSeek Elastic Compute）论文并署名梁文锋，公开用于 Agent 训练的沙盒基础设施技术细节。

GLM 官方复盘：Infra Agent 如何在 10 万级国产加速器集群上两周建成 GLM-5.3-Flash 推理系统

智谱（Z.ai）发布技术长文，讲解 GLM-5.3 驱动的 Infra Agent 如何在 100,000 多颗国产 AI 加速器上从零搭建 GLM-5.3-Flash 的生产级推理系统，不到两周将端到端吞吐提升约 3 倍，支撑 1M token 上下文与多模态请求。

BITCOS 布局突破三值 LLM 的 1.58-bit 存储壁垒

论文提出 BITCOS，一种由存在位图加压缩符号向量组成的三值 LLM 权重布局，按零密度 z 计成本为 2−z bits per weight。作者实测 29 个三值模型发现零权重占比最高达 51.5%，其中 26 个模型的存储比 five-trit packing 更紧凑，最稀疏模型达 1.485 bits per weight。

IBM Research 在 ALTK-Evolve 中引入 Consistency Analyzer 与一致性指南，将 GPT-4.1 智能体在 AppWorld 上的一致性差距从 24.4pp 降到 12.0pp

IBM Research 团队在 ALTK-Evolve 中推出 Consistency Analyzer 和一致性指南，针对智能体反复执行同一任务时结果不稳定的问题。

Rohan Paul@rohanpaul_ai· 12:42AI 评分5959

一项名为 Detokenization Leaks 的研究提出新攻击，通过观察本地部署 LLM 去分词时的 CPU 缓存活动重建生成文本，无需读取模型内存。

Rohan Paul@rohanpaul_ai· 11:40AI 评分3838

Google 与 KAIST 的论文提出 Declarative Attention（DA），模型通过 <global>、<focus>、<local> 三种模式在思维链中声明需要关注的上下文，推理引擎据此跳过大部分 KV cache 读取，无需额外的外置打分器。

Rohan Paul@rohanpaul_ai· 11:40AI 评分4848

Rohan Paul 转述 PwC 关于 AI 基础设施建设的报告。报告称数据中心每 1 美元建设支出可能带动约 12 美元未来信息与通信技术设备投入；到 2050 年，硬件可能占数据中心总资本支出的 93%。

Rohan Paul@rohanpaul_ai· 11:10AI 评分4343

Scale AI 与加州大学发布论文《READY or Not: Reliable Enterprise Agent Deployment》，提出 READY 评估框架，将智能体与配套人工审查一起评估，衡量在指定可靠性目标下所需的人工监督与成本。

Rohan Paul@rohanpaul_ai· 09:40AI 评分4444

斯坦福等机构的论文 Prefix Sliding for efficient test-time scaling 提出，推理时只保留任务前缀和最近 token 的滑动窗口、丢弃中间推理 token，无需重训即可让推理提速约 3 倍。

Rohan Paul@rohanpaul_ai· 16:38AI 评分4848

Microsoft 论文《Sliding-window beats linear attention》发现，目标是降低推理内存时，免训练的滑动窗口注意力（SWA）优于多数改造的线性注意力方法，只需保留小窗口加前 4 个 sink token。

Rohan Paul@rohanpaul_ai· 21:48AI 评分5151

一项研究估算，2015 至 2024 年数据中心并未推高美国居民平均电价，数据中心容量每增加 10%，平均居民电价约下降 0.4%。原因是电网固定成本被更多售电量摊薄，且新增电厂运行成本可能更低；作者警告若电网供应不足或过度建设，该效应可能反转。2024 年数据中心用电约占美国电力 4.5%，预计 2030 年达 9-17%。

Rohan Paul@rohanpaul_ai· 04:48AI 评分3636

伯克利和得克萨斯大学推出 FreeToken，新引擎可在普通设备上运行大型开源模型。8GB 游戏本跑 35B 模型达 39.3 tokens/秒，快于生产环境中的 Codex。FreeToken 让 GPU 缓存跟随路由请求，将专家缺失率从 llama.cpp 的 62% 降至 16%，其余按 PCIe 和内存速度比例分配。

Infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程

Infer-forge 是一套围绕 SGLang 推理优化的内部工程系统，通过 MonoRepo、Harness、Task Loop 与 Task Graph 四种结构，将部署点约束链（模型、SLO、拓扑、运行时、加速平台）转化为可复现、可审计的工程流程。

Rohan Paul@rohanpaul_ai· 04:48AI 评分3636

Netflix 发布论文，详解其推荐理由生成系统：一个 AI 模型撰写“因为你看过”短句，另一个 AI 评委逐条打分，人类每周审核。论文提出生产环境中的评委模型需持续维护，分为构建标注样本、调优评委、作为门控运行及监控漂移四阶段，调优基于书面理由而非简单对错。5 周测试显示，相比无解释，该方案让用户略微转向未看过的内容，并更常以播放结束浏览。

MiniMax-H3 在 8×H200 上基准测试：无损加速 1.95×，最高 6.24×（SSIM 0.76–0.91）

SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试，其密集无损路径较 Diffusers 快 1.85–1.95×，无近似损失。

Rohan Paul@rohanpaul_ai· 23:18AI 评分3636

普华永道研究Anthropic的harness primitives（含记忆、文件系统和bash的循环，即Claude Code形态），建议企业停止为每个用例构建新智能体系统，转而统一部署相同框架。该建议主要基于统一框架可简化审查流程，而非运行性能更优。企业可让各团队标准化该循环，仅通过纯文本指令文件区分差异，使审计整个智能体集群变为阅读文档而非审查代码。

Rohan Paul@rohanpaul_ai· 08:18AI 评分3636

AutoSaddler 从失败轨迹中自动重写智能体的提示词、工具与中间件，但只保留能提升留出开发集性能的更新。论文发现，若无泛化校验，自动优化结果反而不如手写框架；建议用补丁未针对的任务集评估净收益，而非仅看修复数。

IDEA Prune：生成式语言模型预训练中的集成放大-剪枝流程

Apple 研究团队提出 IDEA Prune，将放大模型预训练纳入结构化剪枝流程，形成集成式 enlarge-and-prune 管线。该研究探讨两个关键问题：即使放大模型从不部署，预训练它是否值得；以及如何优化该流程以提升 token 效率。相比从头训练目标尺寸模型，该流程在有限推理预算下展现出更高的 token 效率。

英特尔 18A-P 工艺详解：0.5V 低电压频率跃升 30%，Diamond Rapids 与 Nova Lake 率先搭载

英特尔在 Hot Chips 2026 上公布 18A-P 制程细节，基于量产芯片测试，该制程在 0.5V 工作电压下实现 30% 频率提升，相同功耗下性能提升超 9%，相同性能下功耗降低超 18%。18A-P 通过 RibbonFET 晶体管、背面供电及新增金属层等手段优化，将率先用于 Diamond Rapids 至强和 Nova Lake 酷睿处理器，计划于 2027 年推出。

摩尔线程发布《MTT S5000 Prefill-as-a-Service 技术白皮书》，破解长上下文推理成本瓶颈

摩尔线程发布《MTT S5000 Prefill-as-a-Service 技术白皮书》，基于旗舰级AI训推一体智算卡MTT S5000构建“Prefill As a Service”新范式，面向AI Agent、代码生成、超长文档分析等长上下文推理场景。

SK 海力士披露下一代 HBM 内存先进封装技术，引入英特尔 EMIB

SK 海力士在 Hot Chips 2026 大会上披露下一代 HBM 封装路线图，计划借助英特尔 EMIB 等先进封装技术，未来进入 3D 封装阶段。其 HBM4 带宽超 2TB/s，功耗效率较 HBM3E 提升 40% 以上，容量最高 48GB，并正研发混合键合与 I-HBM 局部热点缓解技术以应对散热挑战。

Rohan Paul@rohanpaul_ai· 08:18AI 评分3535

清华与康奈尔新研究指出，智能体记忆可能将可恢复错误固化为持续错误。论文借鉴数据库事务思想提出 ACID-Agent，将探索-执行-验证循环视为事务，仅提交验证通过的结果，失败尝试不进入记忆与工作区。验证失败时智能体重试且不携带失败状态，长期运行可靠性更取决于控制提交与重试而非单纯提升推理能力。

Rohan Paul@rohanpaul_ai· 23:18AI 评分3030

Google DeepMind 提出 Pandora's Router，将模型路由决策建模为潘多拉魔盒问题：先给每个专家模型一个廉价粗略评分，仅当额外信息的预期价值高于成本时，才付费运行更强评估器。在 MATH、RAG 和 EmbedLLM 基准上，其综合路由遗憾与检查成本最低或并列最低；EmbedLLM 上平均检查成本从 1.986 降至 0.075，路由遗憾从 0.370 降至 0.311。

Netflix 测试语言模型 GenRec，替代手工构建的推荐逻辑

Netflix 自研的基于语言模型的推荐系统 GenRec 在离线测试和约 10% 流量的四周 A/B 实验中均优于现有生产系统，排名质量离线提升约 1.6%，第二阶段训练所需标注数据减少约 40 倍。

Rohan Paul@rohanpaul_ai· 03:48AI 评分3737

阿里与字节新论文指出，AI智能体性能瓶颈已从模型推理转向工具、内存、环境与模型的协同。基于10个智能体应用的AgentSysBench测试显示，任务感知调度降低延迟29–40%，通信感知放置提速4.5倍，状态卸载节省内存4.6倍，缓存消除35.2%冗余搜索调用。单纯优化token/秒已不够，需将模型、工具、内存与通信统一调度。

Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%

蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s，平均 TPOT 从 3.33 ms 降至 1.53 ms。

突破 DeepSeek-V4-Pro 服务极限：H20 上的多场景优化方法

LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro，在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s，与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。

智能体记忆并非越多越好：八款模型评测显示剂量需按能力校准

智能体记忆并非可随意开启的功能，而是需按模型能力校准的剂量。强模型适合注入完整指南集，DeepSeek-V3.2（671B MoE）任务完成率提升+9.5个百分点；较弱模型采用精选检索效果最佳，gpt-oss-120b（117B MoE）提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注，通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。