Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。
推荐理由：原文给出监控级联的完整数据、成本和部署细节，读者可以据此评估实时监控开放模型智能体的可行做法。
#部署/工程
Goodfire Research精选AI 评分7272
LMSYS Blog精选AI 评分6565 MiniMax-H3 在 8×H200 上基准测试：无损加速 1.95×，最高 6.24×（SSIM 0.76–0.91）
SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试，其密集无损路径较 Diffusers 快 1.85–1.95×，无近似损失。
推荐理由：把视频生成加速的取舍量化成可复现配置，质量优先时 Cache-DiT 单独使用比叠加稀疏注意力更划算。
LMSYS Blog精选AI 评分6363 Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%
蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s，平均 TPOT 从 3.33 ms 降至 1.53 ms。
推荐理由：对做单请求低延迟推理的团队，可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径，否则主机的同步等待会变成每步的 GPU 气泡，这与具体模型无关。
LMSYS Blog精选AI 评分7373 突破 DeepSeek-V4-Pro 服务极限：H20 上的多场景优化方法
LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro，在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s，与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。
推荐理由：文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置，并用 Humming 压缩和 Online C128 释放 HBM，使 H20 也能服务 1M 上下文，为受限硬件上的大规模推理提供了可复用的工程思路。
Hugging Face 社区博客精选AI 评分6666 智能体记忆并非越多越好：八款模型评测显示剂量需按能力校准
智能体记忆并非可随意开启的功能，而是需按模型能力校准的剂量。强模型适合注入完整指南集，DeepSeek-V3.2（671B MoE）任务完成率提升+9.5个百分点；较弱模型采用精选检索效果最佳，gpt-oss-120b（117B MoE）提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注，通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。
推荐理由：把智能体记忆的配置从越多越好修正为按模型能力校准，弱模型用检索核心比全量更准且成本更低，为上下文预算提供量化依据。
LMSYS Blog精选AI 评分7272 统一 Radix 缓存：为混合模型前缀缓存构建单一树结构
LMSYS 团队提出 Unified Radix Cache，用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存，各组件独立执行路径、滑动窗口和检查点复用语义。
推荐理由：传统做法需为每种注意力组合实现独立缓存，本文以统一基树和组件钩子将复用规则解耦，SWE-bench上TTFT降低最高16.6%。
LMSYS Blog精选AI 评分6969 Miles 在 Blackwell 架构上实现端到端 MXFP8 与逐 token NVFP4 强化学习方案
Miles 团队在 Blackwell 架构上实现了两种原生低精度强化学习方案：端到端 MXFP8 和 MoE 专家权重的逐 token NVFP4。在 8x B200 上对 Qwen3-30B-A3B 的消融实验中，BF16 与所有五种低精度配置的原始奖励曲线高度重合，且 MXFP8 和 NVFP4 减少了推理时间。
推荐理由：虽然只针对Blackwell，但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了，从量化合约到每token缩放都给了可复现配置，做大规模RL训练的能直接上手。
公众号：小红书技术精选AI 评分8383 小红书引擎架构团队 OSDI 2026 新成果：HELMSMAN 重塑大规模向量检索基础设施
小红书引擎架构团队在 OSDI 2026 发表论文，提出面向全闪存的高性能向量近似最近邻检索系统 HELMSMAN。该系统通过 ANNS 定制化存储栈、分层学习式搜索剪枝及 GPU 加速构建流水线，将向量检索服务迁移至 NVMe SSD 阵列。
推荐理由：在保持毫秒级在线延迟的前提下，将百亿向量检索从海量DRAM迁移到NVMe SSD阵列，为推荐与搜索系统提供了成本下降超90%的生产验证方案。
Fireworks AI精选AI 评分6363 Fireworks AI 实测 Kimi K3 对标 Fable 5，两模型路由可达 93% 准确率
Fireworks AI 在约 1,030 个真实 agent 任务上对比开源的 Kimi K3 与闭源的 Fable 5，两者总体水平接近（SWE 分别为 92.4% 与 92.6%），但各自擅长不同任务类型。
推荐理由：原文用约 1,030 个真实 agent 任务对比 K3 与 Fable 5，给出按任务路由可同时提升质量并降低成本的量化依据。
公众号：小红书技术精选AI 评分7777 HYPIC：小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统
HYPIC 在混合注意力大模型上实现了位置无关缓存，将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。
推荐理由：混合注意力模型终于有了可用的位置无关缓存方案，HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题，对长上下文推理服务的加速意义重大，做推理 infra 的团队可以马上看论文和代码。
公众号：小红书技术精选AI 评分7575 小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上位置无关缓存，首 token 延迟降 3.25 倍
小红书联合北大、上交提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合，并用缝合窗口修复全注意力层跨段对齐。
推荐理由：此前位置无关缓存无法用于混合注意力模型，HYPIC 通过缓存转移算子与缝合窗口首次实现，RAG 场景 TTFT 降低 3.25 倍，开源代码为推理系统提供了可复用的加速路径。
LMSYS Blog精选AI 评分6161 DeepSeek-V4 Flash 强化学习训练登陆 AMD Instinct MI355X GPU，由 Miles 框架支持
DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持，基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型（每 token 激活 130 亿参数）需 SGLang 进行 rollout 生成、Megatron 进行策略更新，Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战，最终在四个八 GPU 节点上完成端到端验证：超过 100 个优化器步骤中训练-rollout 对数概率差可控，在线奖励持续提升，离线 AIME-2024 基准分数同步上涨。
推荐理由：把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上，不是画饼，而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的，可以照着踩坑。
公众号：小红书技术精选AI 评分7070 小红书发布大模型新架构 PIPO
小红书提出 PIPO 架构，通过输入侧压缩器将两个 token 折叠为一个 latent，输出侧 MTP head 将隐藏状态展开为额外 token，实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone，在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中，TTFT 加速约 1.23×，TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段，将 verifier 校验能力蒸馏进轻量 confidence head。
推荐理由：PIPO把输入压缩和输出多token预测统一起来，并且用蒸馏把验证成本前置，长推理的场景下这可能是下一代推理引擎的样子，做模型加速的应该认真看看。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Microsoft Copilot Cowork Skill 可绕过管理员设置调用 DeepSeek
PromptArmor 披露，即使组织未加入 DeepSeek Preview，Microsoft Copilot Cowork 的 Skill 也能通过 agent 自身的访问路径调用 DeepSeek（Mistral 亦验证可行），且无需 API key，认证由用户的 Cowork 会话自动授予。
推荐理由：原文实测展示了 Copilot Cowork Skill 如何绕过组织级模型封锁调用 DeepSeek，并给出管理员目前唯一可用的关闭路径。
MarkTechPost精选AI 评分7979 DeepSeek 开源 DSpark 投机解码框架，加速 DeepSeek-V4 生成速度 60–85%
DeepSeek 发布 DSpark 投机解码框架并开源检查点与训练代码。该框架不是新模型，而是在 DeepSeek-V4 权重上附加草稿模块，通过半自回归生成（并行骨干 + 轻量级顺序头）实现无损加速。生产环境下，DeepSeek-V4-Flash 和 V4-Pro 每用户生成速度较 MTP-1 基线分别提升 60–85% 和 57–78%。离线测试中，接受长度比 Eagle3 高 26–31%，比 DFlash 高 16–18%。配套 DeepSpec 训练代码库采用 MIT 许可证。
推荐理由：DeepSeek 开源的这个投机解码框架让 V4 生成提速 60% 以上，关键在于不换模型就能加速，对用 API 做产品的人是立即可用的性能提升。代码和权重都给了，值得一试。
Google Research：Blog精选AI 评分5555 冻结多token预测加速Pixel上的Gemini Nano模型
Google Research提出一种新架构，在已冻结的Gemini Nano v3模型上改造Multi-Token Prediction（MTP），以加速Pixel 9和10系列上的设备端推理。该方法基于EAGLE框架和CALM，无需单独训练占用内存的草稿模型，通过“晚期退出”策略实现加速。AI通知摘要和校对功能因此生成文本速度显著提升、能耗降低，开发者无需为每个新任务微调独立模型。
推荐理由：谷歌这篇技术博客值得端侧开发者细读，他们把多令牌预测硬是装进了已部署的 Nano 模型，Pixel 上生成加速五成，还省了 130MB 内存，零拷贝架构的想法挺巧，但没法直接复现，主要是开脑洞用的。
MarkTechPost精选AI 评分7474 DFlash：块扩散草稿模型实现最高15倍吞吐量提升
DFlash 由 UC San Diego 团队提出，是一种用于投机解码的轻量块扩散草稿模型。它一次前向推理生成整块 token，再由目标模型并行验证，保证输出无损。相比 EAGLE-3，DFlash 实现最高 2.5 倍加速，在 Qwen3-8B 等多种模型上平均无损加速超过 6 倍（MATH-500 达 6.08×）。在 NVIDIA Blackwell 上（TensorRT-LLM），gpt-oss-120b 模型吞吐量提升最高 15 倍，约为 EAGLE-3 的 1.5 倍。核心创新是将目标模型多层隐藏特征注入草稿模型每一层的 Key-Value 投影，使接受长度随草稿深度增长。
推荐理由：DFlash把扩散模型引入推测解码草案阶段，一次并行生成整块token，单流加速最高6倍，NVIDIA实测吞吐量提升15倍，推理成本下降幅度很大，部署大模型的团队可以立刻关注。
LMSYS Blog精选AI 评分6969 用SGLang-JAX在TPU上优化Ling-2.6-1T：一个Pallas核将MoE数据移动隐藏在计算中
SGLang-JAX现已支持inclusionAI的Ling-2.6-1T（1T稀疏MoE，63B激活参数，256路由专家，top-8路由加共享专家）在TPU v7x上高效推理。团队开发了Fused MoE V2——一个融合scatter、专家FFN和gather的Pallas核，通过将MoE数据移动隐藏在计算中，使MoE预填充延迟从5.16ms降至2.42ms（降幅53%），解码核延迟从0.249ms降至0.211ms（降幅约15%）。仅替换MoE核即提升预填充吞吐量24.8%，解码吞吐量18.5%–35.3%。在SGLang解码基准测试中，16块TPU v7x芯片输出吞吐量达16块H200 GPU的1.29倍（mc=128）至1.77倍（mc=512）。完整上线还包含混合KV/循环内存池、GLA线性注意力和单控制器数据并行支持。
推荐理由：这是针对TPU上MoE推理的硬核优化复盘，用成本模型定位瓶颈，通过单内核融合把延迟砍半，对做大规模推理工程的团队是高质量参考。
MarkTechPost精选AI 评分7070 MiniMax 发布 MSA 稀疏注意力方法，开源推理内核并推出 MiniMax-M3 模型
MiniMax 发布 MSA（MiniMax Sparse Attention），一种构建在 Grouped Query Attention 上的稀疏注意力方法。它将注意力分解为索引分支与主分支：索引分支以块粒度（默认 128 token）为每个 GQA 组选择 16 个 token 块（固定预算 2048 个键值 token），主分支仅在这些块上执行精确 softmax 注意力。MSA 在 109B 参数 MoE 模型上训练，开源了面向 NVIDIA SM100 GPU 的推理内核 `fmha_sm100`（MIT 许可，支持 BF16/FP8/NVFP4/FP4），并发布生产模型 MiniMax-M3。MSA-PT 在 MMLU、GSM8K、HumanEval、RULER-8K、RULER-32K 上分别达 67.2、77.7、64.0、84.2、77.5，与全注意力基线持平。128K 上下文下，其 exp-free Top-k 选择比 `torch.topk` 快 5.1 倍。
推荐理由：MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token，还同时开源高效内核与生产模型，对做长上下文 agent 的团队是即时可用的方法，遗憾是只限 SM100 GPU。
公众号：腾讯混元精选AI 评分6262 腾讯混元提出Stem稀疏注意力算法，被ICML 2026收录
Stem算法通过Token位置衰减（TPD）和输出感知度量（OAM）两项创新，仅用25%算力即逼近稠密注意力精度。配套HPC算子针对Hopper架构优化，支持FP8量化与vLLM的Paged KV Cache，在混元Hy3 preview上实现首字延迟降低3.6倍。HPC-BSA相比MIT-BSA稳定保持约3倍加速，在8K至256K序列长度上表现一致。
推荐理由：把稀疏注意力从一刀切升级成按信息流分配预算，算子在Hopper上把理论加速几乎无损转化，3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。