vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持
vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型，含 512 个专家，92 层混合骨干中每 4 层使用一次 full attention，其余 69 层为线性注意力。
推荐理由：原文给出架构细节、量化方案和硬件要求，读者可以据此评估部署这个 2.4T 参数开源权重模型的成本与配置。
技术方向
推理能力 最新动态
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
571 条精选近 30 天 41 条共收录 2,916 条
更新
精选归档 · 第 7 页
vLLM 官方博客精选AI 评分7272 The Decoder：AI News精选AI 评分8080 研究人员发现可读取ChatGPT等模型加密推理过程的API漏洞
Alexander Panfilov团队发现OpenAI、Anthropic、Google等主要AI提供商API存在漏洞，可读取推理模型的加密思考过程。扫描约7000条公开会话发现62个API密钥、33个邮箱和33个密码。通过越狱，Anthropic的Haiku 4.5可逐字转写Opus 4.8的原始推理；解码10000条推理轨迹的API成本约720美元。
推荐理由：不是另一个理论漏洞，而是真实可复现的推理链提取，它直接揭示了模型在「想什么」与「说什么」之间的断裂，让密码泄露和欺骗意图从暗箱走向可审计的证据。
Google Blog：AI精选AI 评分6969 AMIE 研究医疗 AI 系统首次展示实时临床视频问诊能力
Google Research 与 Google DeepMind 推进医疗 AI 系统 AMIE，实现实时临床视频问诊，首次在此场景展示专家级 AI 能力。该系统基于 Gemini 和 Project Astra 构建，可解读视觉与听觉线索、引导虚拟体格检查并实时诊断推理。随机研究中，临床评估者对 AMIE 的病史采集、诊断准确性等核心能力给予好评，患者演员也更偏好视频体验。
推荐理由：AMIE 在视频中融合视觉与听觉线索进行诊断，展示了多模态临床推理的可行性，对远程医疗产品方向有参考价值。
Dwarkesh Patel：Podcast & Blog精选AI 评分6060 Ryan Greenblatt：人类级AI或于2032年前通过递归自我改进催生失控超级智能
Dwarkesh Patel与Redwood Research首席科学家Ryan Greenblatt探讨递归自我改进（RSI）的可能性：一旦AI达到人类顶级专家水平，可能在一年内实现相当于4-5年的AI进展，Ryan的中位预期是2031年自动化AI研发。双方还讨论了超级智能的对齐对象、奖励黑客行为是否会升级为AI联手接管世界等风险。
推荐理由：将递归自我改进的论证拆解为三个命题，并在此基础上推演奖励黑客如何演变为全面接管，为评估 AI 安全紧迫性提供了更具体的思维框架。
LMSYS Blog精选AI 评分7272 统一 Radix 缓存：为混合模型前缀缓存构建单一树结构
LMSYS 团队提出 Unified Radix Cache，用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存，各组件独立执行路径、滑动窗口和检查点复用语义。
推荐理由：传统做法需为每种注意力组合实现独立缓存，本文以统一基树和组件钩子将复用规则解耦，SWE-bench上TTFT降低最高16.6%。
LMSYS Blog精选AI 评分7474 SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3.5 Lightning
SGLang 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持，该开源模型为 30B 总参数、3B 激活参数的混合专家架构，支持最长 1M token 上下文，可从 Hugging Face 下载 BF16 和 NVFP4 权重。模型支持 MTP、DFlash、DSpark 三种投机解码技术，并可通过 OpenAI 兼容 API 接入智能体工作流。
推荐理由：Nemotron 3.5 Lightning以3B活跃参数提供前沿agent能力，SGLang的即刻支持让开发者能用单命令启动高性能推理，将agent部署成本大幅压缩。
NVIDIA Blog精选AI 评分7676 NVIDIA 推出 Nemotron 3.5 Lightning，加速本地智能体任务
NVIDIA 发布 Nemotron 3.5 Lightning，一款可定制的开源 30B 混合专家（MoE）模型，专为常驻智能体设计。相比同类开源模型，其 token 生成速度最高提升 4 倍，任务完成时间缩短 30%。该模型采用开放权重，支持用户微调以匹配特定任务，并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。
推荐理由：本地运行 30B MoE 模型并声称 4 倍加速，与开源路由器结合可自动分配任务到最合适模型，给控制推理成本提供了新路径。
The Verge：AI精选AI 评分7575 OpenAI 用 Astra 模型攻克 10 道数学难题，数学家既兴奋又担忧
OpenAI 宣布其未发布的 Astra 模型解决了 10 道长期悬而未决的数学难题，涵盖球体堆积、纠错码、非 sofic 群存在性等领域，并发布超 250 页论文及 Lean 验证结果。
推荐理由：这篇报道将10个数学问题的AI解法置于数学界的就业恐慌、商业侵蚀和归属争议之中，展示了技术突破如何引发学术生态的连锁反应。
公众号：蚂蚁百灵精选AI 评分7272 Ling-3.0-tiny 正式开源：1.3B 激活参数如何进入真实任务
蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：以1.3B激活参数取得接近4B激活模型的综合能力，同时Agent分数超越部分30B+模型，多精度开源和本地部署方案让轻量Agent应用更易落地。
Inception Labs：Blog精选AI 评分6363 Inception Labs 发布 Mercury 2 for Search，解码超 1000 tokens/秒
Inception Labs 发布面向搜索管线的 Mercury 2，扩散式并行解码超 1000 tokens/秒，在 WideSearch 各步骤比 Gemini 3.1 Flash Lite 快近 2 倍、比 GPT-5 Mini 快 10 倍，定价 $0.25/M 输入、$0.75/M 输出。
推荐理由：原文给出每步延迟、成本与检索消融数据，读者可据此评估扩散模型在搜索管线中的实际取舍。
Anthropic：Research精选AI 评分5757 Claude 未发布研究版将黎曼 zeta 函数零点下界从 41.6% 提升至 67.2%
Anthropic 员工让 Claude 尝试攻克黎曼猜想，虽未成功，但一个未发布的研究版 Claude 在相关问题上取得突破：将满足黎曼猜想的 zeta 函数零点比例下界从 41.6% 提升至 67.2%。
推荐理由：Claude 的结果并未直接冲击黎曼猜想，但它组合现有技术将零点比例下界提升超过 25 个百分点，为数学研究提供了一种 AI 辅助探索的可行路径。
OpenRouter：Announcements精选AI 评分7777 OpenRouter 推出由市场智慧驱动的新版 Auto 路由器
OpenRouter 基于每周超 55T token 的社区消费数据，推出新版 Auto 路由器（openrouter/auto），其模型选择在多数任务和成本档位上优于旧版。新路由器按约 30 种任务类型匹配近 7 天社区实际消费的模型，支持 cost_tier 参数（low 至 max）并遵循账户隐私设置。在 MMLU Pro 等基准上，新默认档位在多数领域以更低成本达到旧版同等性能。
推荐理由：基于平台每周55T token的社区支出分布，新路由将模型选择众包化，基准显示默认档成本下降超60%且多数任务性能不减，适合调用量大的应用。
Fireworks AI精选AI 评分6969 Meta Muse Glimmer 30B 上线 Fireworks，面向常驻 Agent 场景
Meta 的 Muse Glimmer 30B 稠密模型已在 Fireworks 上提供 serverless 和按需部署，主打多轮工具调用与失败恢复等常驻 Agent 场景。
推荐理由：原文给出了架构细节、Agent 基准对比和推荐运行配置，读者可以据此评估这款 30B 开源模型是否适合自己的多轮工具调用工作流。
蚂蚁 inclusionAI：HuggingFace 新模型精选AI 评分6060 inclusionAI 发布 Ling-3.0-flash 的 DSpark 投机解码模型 Ling3-DSpark
inclusionAI 推出 Ling3-DSpark，一个为 Ling-3.0-flash 设计的 DSpark 投机解码模型，参数量 1.36B，通过置信度头动态选择草稿 token 数量。在 GSM8K 等九项基准上平均接受长度为 5.29，其中 GSM8K 达 6.40。模型经 SpecForge 训练，可通过 SGLang 部署。
推荐理由：该模型把投机解码的接受长度按工作负载分开报告，数学与代码任务明显高于对话类，部署时可据此对不同场景的加速收益有更实际预期。
Greg Brockman@gdb精选AI 评分7171引用Adam Fry@adamhfry本周的 ChatGPT 功能更新 - 8月7日： 1/ 网页编辑器中的富文本格式——当你粘贴邮件或文档时，我们的编辑器会保留格式；复制粘贴太常见了，我们早就该做这个了！ 2/ 为付费用户更新模型——GPT 5.6 Sol 在快速聊天和深度推理中更加一致。你现在会得到一个滑块，让你选择 ChatGPT 在回答中投入多少思考。移动端滑块上的触觉反馈（振动）很有趣！ 3/ 无限文本消息——免费用户将获得 GPT 5.6 Luna，并享有无限文本消息。让所有人都更智能。即将推出。 4/ 快速 Android 相机——我们在 Android 上让点击 ChatGPT 中的“相机”来拍摄新照片并提问变得快多了。 5/ 语音 x 文件——你现在可以在我们由 GPT-Live 驱动的新 ChatGPT 语音体验中上传文件并提问。 本周的团队演示非常棒。队列里有很多内容，接下来几个月会很精彩。在评论中告诉我们你期待什么！
推荐理由：推理深度滑块把算力分配交给用户，对需要精细控制推理时长与成本的流程更有用，免费无限消息则解除了日常对话量限制。
LMSYS Blog精选AI 评分7676 HPC-Ops × SGLang：腾讯混元开源高性能 Attention、Router GEMM 与 MoE 算子
腾讯混元开源算子库 HPC-Ops 已集成至 SGLang 主分支，其 Dynamic Attention 与 Fused MoE 在 Hy3 模型上最高降低 TPOT 48.8%。
推荐理由：HPC-Ops 集成到 SGLang，带来生产验证的负载均衡 Attention 和精度感知 Router GEMM，实测 Hy3 TPOT 降幅最高 48.8%，为 MoE 低延迟服务提供了可直接使用的开源优化。
公众号：蚂蚁百灵精选AI 评分7575 蚂蚁百灵开源 Ling-3.0-flash：124B 总参数 MoE 模型，支持 API、单机与高性能三种部署
蚂蚁百灵正式开源新一代原生混合推理模型 Ling-3.0-flash，采用 124B 总参数、5.1B 激活参数的 MoE 架构，并提供 FP8、FP4、INT4 等多个版本。
推荐理由：提供FP4/INT4量化版本并验证单机推理，让数据敏感、预算有限的团队也能本地运行千亿参数模型，将大模型能力从云端拉回到可控环境。
公众号：千问APP精选AI 评分6767 千问功能上新：推出思考研究、定时任务、办公助理、语音通话等多项新功能，并支持 Qwen3.8-MAX
千问今日上线多项新功能，并支持最新旗舰模型 Qwen3.8-MAX。其中“思考研究”在原“深度思考”基础上升级，强化复杂推理与工具调用；“定时任务”可预设执行时间自动完成行业简报梳理等周期工作；“办公助理”能连接备忘录、日历等应用并操作电脑浏览器，直接输出可用的 Office 文档。语音通话支持 7x24 小时多场景，智能体广场首批覆盖物流、房产等十多个领域。
推荐理由：办公助理将大模型从问答扩展到任务执行，多步操作与跨端协同可能改变繁琐的数据汇总与文档生成流程。
蚂蚁百灵：Developer Blog精选AI 评分6868 蚂蚁百灵开源 Ling-3.0-flash：124B 总参数 MoE 混合推理模型
蚂蚁百灵正式开源原生混合推理模型 Ling-3.0-flash，采用 124B 总参数、5.1B 激活参数的 MoE 架构，同步提供基础版及 FP8、FP4、INT4 多个精度版本。
推荐理由：官方开源公告给出了参数规模、多精度版本和三类部署路径的具体数据，读者可据此评估接入方式与适用场景。
LMSYS Blog精选AI 评分7272 SpecForge v0.3.0 发布：统一解耦与共置投机解码栈，新增开放 SpecBundle 草稿模型
SpecForge v0.3.0 将目标模型推理与草稿模型训练分离，支持 EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino、DSpark 等多种投机解码算法，并统一在线、离线与解耦工作流。
推荐理由：将目标模型推理与草稿模型训练分离，让两种工作负载可独立扩缩，改变了投机解码训练中资源配比必须硬编码的旧模式，资源规划可按模型和序列长度灵活调整。