跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

566 条精选近 30 天 46 条共收录 2,839 条

更新

推理能力的精选

今天10月16日周五第 1–20 条
  1. Artificial Analysis 完整文章66

    Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测

    Artificial Analysis 公布首批 AA-AgentPerf 结果,测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率,对比 GB300 NVL72。

    推荐理由:Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐,读者可据此评估新硬件对智能体推理服务成本的影响。

  2. vLLM 官方博客75

    vLLM 提供 Muse Spark Open Day 0 支持

    vLLM 与 Meta Superintelligence Labs 合作,在发布当天即支持开源 MoE 模型 Muse Spark Open。该模型总参数 816B、每 token 激活 42B、上下文窗口 1M,面向长程智能体编码工作流。

    推荐理由:vLLM 官方给出了 Muse Spark Open 的架构细节、量化版本与完整部署命令,读者可直接照此在生产环境上手推理与 LoRA RL。

  3. Apple Machine Learning Research60

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型

    Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型,使用今天发布的新版 MLX(v0.30.1 起)与 macOS 26.2 的 RDMA over Thunderbolt 驱动。

    推荐理由:Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据,可迁移到本地大模型部署实践。

10月15日周四
  1. StepFun66

    StepFun 表示 Step 5 Preview 在 NVIDIA GB300 上推理表现出色,并期待看到开发者用它构建的应用。其转发的 NVIDIA 内容称该模型是 StepFun 最大的开源权重发布,600B MoE 架构,可处理最长 24 小时的 Agent 任务,在 GB300 上用 NVFP4 达到近 8K tokens/sec/GPU,提供 NVFP4 checkpoint(https://huggingface.co/stepfun-ai/Step-5-Preview-NVFP4),并支持 SGLang、vLLM、NeMo Automodel 后训练和 NVIDIA NIM 一键部署。

    引用NVIDIA AI@NVIDIAAI

    恭喜 StepFun 发布 Step 5 Preview 🙌 这是他们规模最大的开放权重发布。 这个 600B MoE 模型专为处理长达 24 小时的 agent 任务而构建。 该模型在 NVIDIA GB300 上使用 NVFP4,运行速度接近 8K tokens/sec/GPU。 NVP4 checkpoint:https://huggingface.co/stepfun-ai/Step-5-Preview-NVFP4 使用 @SGL_project 部署 - https://docs.sglang.io/cookbook/autoregressive/StepFun/Step-5-Preview 或 @vLLM_project - https://recipes.vllm.ai/stepfun-ai/Step-5-Preview 使用 NeMo Automodel 进行后训练:https://github.com/NVIDIA-NeMo/Automodel/blob/main/docs/model-coverage/llm/stepfun-ai/step-5-preview.mdx 使用 NVIDIA NIM 通过单条命令运行它:https://catalog.ngc.nvidia.com/orgs/nim/nvidia/containers/vllm-model-free-nim-experimental/-

    推荐理由:原文补充了 Step 5 Preview 在 NVIDIA GB300 上的推理表现和 NVFP4 权重入口,可帮助开发者评估部署选择。

  2. vLLM 官方博客60

    vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

    vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型,通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率,作为 Adaptive Verification 的置信分。

    推荐理由:原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据,方法可直接在 vLLM 中配置复用。

10月14日周三
10月13日周二
  1. Amazon Science61

    AWS 提出 priming 方法,可将预训练 Transformer 改造成混合状态空间架构

    AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出 priming 方法,复用预训练 Transformer 权重构建混合架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。

    推荐理由:AWS 团队提出 priming 方法,把预训练 Transformer 改造成混合架构的预训练成本降低逾 99%,并开源了 8B 和 32B 模型与代码。

10月12日周一
10月10日周六
10月9日周五
  1. Arena.ai71

    Arena 公布 Anthropic Claude Haiku 5.5 (High) 的真实评测结果,在 Code Arena: WebDev 以 1587 分首秀排名第 30,略在 Pareto 前沿之外。

    引用Claude@claudeai

    隆重推出 Claude Haiku 5.5:我们迄今为止发布的最便宜、最快、最强大的小型模型。 平均而言,它的运行成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:榜单方给出 Haiku 5.5 在 Code Arena 的实际得分与各档 Claude 模型的成本分差,便于横向权衡性价比。

10月8日周四
  1. 公众号:数字生命卡兹克81

    OpenAI 在 GitHub 发布 openai/math 仓库,722 份数学手稿引发数学界震荡

    OpenAI 于10月7日在 GitHub 发布 openai/math 仓库,收录其未公开内部模型产出的722份数学手稿,归为372个成果组,覆盖数论、代数几何、偏微分方程等方向,每个结果平均花费约3小时 ChatGPT Pro 级别思考算力。

    推荐理由:作者把 OpenAI 的数学成果放进从四色定理到 Lean 的机器证明史里讲,读者能看懂这次争议为何激烈。

10月6日周二
10月3日周六
  1. Prime Intellect61

    Prime Intellect 发布推理服务平台 Prime Inference

    Prime Intellect 发布 Prime Inference,提供 serverless 端点与预留容量,在多数据中心 GPU 基础设施上服务前沿开源模型,内部每天处理近一万亿 token。

    推荐理由:作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径,工程细节对做推理服务的人有可参考之处。

10月2日周五
  1. Arena.ai71

    Arena 宣布 Claude Sonnet 5.5(xHigh)进入 Code Arena: WebDev 榜单,以 1786 分排名第 3,距第 2 名 GPT-6 Astra 的 1788 分仅差 2 分。

    引用Arena.ai@arena

    Claude Sonnet 5.5 (High) 由 @AnthropicAI 推出的真实世界结果出炉了。它刚刚以 1699 分在 Code Arena: WebDev 中排名第 #4,并凭借其成本效率重塑了帕累托前沿! Claude Sonnet 5.5 (High) 以每百万 token 综合 $8 的价格提供了近乎顶尖的性能,重塑了帕累托前沿!该模型比总排名第 #3 的 Claude Fable 5.1 (Max) 和排名第 #2 的 GPT-6 Astra (Max) 都便宜 80%。 见下方帕累托位置。 总体而言,Claude Sonnet 5.5 (High) 相比排名第 #37、得分 1540 的 Sonnet 5 (High) 提升了 +159 分。与其前代变体相比的这一提升目前也体现在以下关键领域: - 基于参考的设计:#38 → #4 - 模拟:#37 → #4 - 游戏:#36 → #4 祝贺 @AnthropicAI 发布!

    推荐理由:原文给出 Claude Sonnet 5.5 xHigh 的具体榜单分数与分项排名,读者可以据此比较它与 GPT-6 Astra 的性价比位置。