LangChain：开源模型在 Deep Agents 评测中已达到可用阈值

过去几周，我们一直在通过 Deep Agents 测试框架对开放权重的大语言模型进行评估，初步结果显示，它们是可替代封闭前沿模型、并与之并用的可行选择。GLM-5（z.ai）和 MiniMax M2.7 在文件操作、工具使用和指令遵循等核心智能体任务上的得分，均与封闭前沿模型相当。

如果你一直通过 SWE-Rebench 和 Terminal Bench 2.0 等大量开放基准测试关注开放模型的进展，这并不令人意外。工具调用可靠，指令遵循稳定。对于在生产环境中部署智能体的开发者来说，开放模型如今提供了一致性和可预测性，使真实世界的工作流变得更加可行。

为什么选择开放模型

在探索开放模型时，开发者和客户往往关注几个关键因素：成本、延迟和任务性能。

理想情况下，每个任务都能使用最聪明的前沿模型、以最高推理水平来完成。但在实践中，有两个限制使这不可行：成本和延迟。对于高吞吐量工作负载，封闭前沿模型的运行成本可能高出 8–10 倍，而且它们往往太慢，无法满足用户在交互式产品中期望的响应时间。

将定价放在具体情境中来看：一个每天输出 1000 万 tokens 的应用，在 Opus 4.6 上每天大约花费 250 美元，而 MiniMax M2.7 约为 12 美元/天。这相当于每年约 8.7 万美元的差距。

开放模型通常比封闭前沿模型更小，并且可以在专门的推理基础设施上加速——Groq、Fireworks 和 Baseten 等提供商针对延迟和吞吐量进行了优化，远超大多数团队自身能达到的水平。OpenRouter 数据显示，Baseten 上的 GLM-5 平均延迟为 0.65 秒、每秒 70 tokens，而 Claude Opus 4.6 为 2.56 秒、每秒 34 tokens。对于延迟敏感的产品来说，这一差距很难通过工程手段弥补。

我们如何评估

我们在 How we build evals for Deep Agents 中深入介绍了我们的评估方法。我们使用托管推理提供商来运行评估，但 Deep Agents 也可以通过 Ollama、vLLM 等使用完全本地和私有的模型来运行。

对于开放模型，我们运行了七个评估类别：文件操作、工具使用、检索、对话、记忆、摘要和“单元测试”。这些涵盖了锻炼基础能力的任务：模型能否可靠地调用工具、遵循结构化指令并操作文件？这些能力决定了模型在智能体框架中是否可用。

每个评估用例都定义了成功断言（决定正确性的硬性失败检查）和效率断言（衡量模型如何达成目标的软性检查）。我们报告四项指标：

• 正确性——模型解决的测试比例：passed / total。得分 0.68 意味着 68% 的测试用例被正确解决。这是主要的质量信号。
• 解决率——准确率和速度的综合衡量指标。对于每个测试，我们计算 expected_steps / wall_clock_seconds；失败的测试计为零分。最终得分是所有测试的平均值。越高越好——既能正确又快速解决任务的模型得分最高。
• 步数比——模型实际执行的智能体步数与我们的预期步数之比，在所有测试中汇总：total_actual_steps / total_expected_steps。值为 1.0 表示模型使用的步数恰好符合预期。高于 1.0 表示它需要更多步（效率较低）；低于 1.0 表示它需要的步数比最初预期的更少。
• 工具调用比——与步数比思路相同，但统计的是单个工具调用次数而非步数。1.0 表示符合预算，高于表示超出预算，低于表示低于预算。

步数比和工具调用比是效率指标。它们不影响测试是否通过，但能揭示模型以多经济的方式得出答案。一个用 2 步而非预期的 5 步解决任务的模型，既正确又高效。

我们的评估发现

这些是早期结果；我们正在积极维护和扩展评估集。你可以在我们的 GitHub 仓库和这个共享的 LangSmith 项目中实时查看最近的运行结果。

开放模型

查看 CI 运行（点击模型名称查看各项评估）

各类别正确率：

前沿模型

查看 CI 运行（点击模型名称查看各项评估）

各类别正确率：

‍对于每个模型，我们选择使用提供商默认的思考级别。‍对于 Gemini 3+，这是 high‍对于 OpenAI，这是 medium‍对于 Claude，这是不启用扩展思考

DIY：在本地运行 Deep Agent 评估

我们的 CI 在 52 个模型上运行同一套评估套件，这些模型被组织成多个组——包括一个 open 组（baseten:zai-org/GLM-5、ollama:minimax-m2.7:cloud、ollama:nemotron-3-super），该组在每个评估工作流中都会运行。你可以指定任意模型组：

# Run evals against all open models
pytest tests/evals --model-group open

# Run against a specific model 
pytest tests/evals --model baseten:zai-org/GLM-5

这使得在同一批任务上、使用相同的评分标准，将开放模型相互比较以及与闭源前沿模型比较变得简单直接。

在 Deep Agents SDK 中使用开放模型

切换到开放模型只需改一行代码：

GLM-5：

# pip install langchain-baseten
from deepagents import create_deep_agent

agent = create_deep_agent(model="baseten:zai-org/GLM-5")

MiniMax M2.7：

# pip install langchain-openrouter
from deepagents import create_deep_agent

agent = create_deep_agent(model="openrouter:minimax/minimax-m2.7")

就这样。其余由框架处理——它会检测模型的上下文窗口大小，禁用不支持的模式，并将正确的身份注入系统提示词，让智能体知道自己正在使用什么。

同一个开放模型通常可通过多个提供商获取。选择符合你约束条件的那个。例如，GLM-5 可作为 baseten:zai-org/GLM-5、fireworks:fireworks/glm-5 或 ollama:glm-5 用于自托管。相同的模型，相同的框架，不同的基础设施。

LangChain 为最流行的开放模型提供商提供支持。我们为本次发布测试过的提供商包括：Baseten、Fireworks、Groq、OpenRouter 和 Ollama（云端）。

针对你的模型进行框架层面的调整

开放模型与闭源前沿模型相比，具有不同的上下文窗口、不同的工具调用格式和不同的失败模式。Deep Agents harness 吸收了这些差异，因此你无需操心：

• 模型身份注入 —— 系统提示词在运行时会被打补丁，注入模型的名称、提供商、上下文限制和支持的模态。智能体知道它自己是什么，以及它能做什么。
• 上下文管理 —— 压缩、卸载和摘要阈值会根据模型的实际上下文窗口进行调整，而不是使用硬编码的默认值。4K 上下文的模型会比拥有 1M 上下文的 Opus 进行更激进的压缩。

Deep Agents CLI

每个模型也可在 Deep Agents CLI 中使用。Deep Agents CLI 是我们的开源编码智能体，也是 Claude Code 的替代方案。

除了 Deep Agents SDK 中的所有能力外，CLI 还支持运行时模型切换。我们引入了一个新的中间件（ConfigurableModelMiddleware），以便在会话中途切换模型而无需重启智能体。这支持诸如使用前沿模型进行规划、使用开放模型进行执行的模式。

你可以使用 /model 斜杠命令在会话中途切换模型。这支持诸如以某个前沿模型开始任务进行规划，然后切换到更便宜的开放模型进行执行的模式。

下一步

我们很快会分享一些令人兴奋的内容：

• 为特定开放模型系列记录 harness 调优模式
• 测试多模型子智能体配置（例如：前沿闭源模型编排器 + 开放模型子智能体）

开放模型如今已可用于智能体。我们希望展示那些帮助我们设计出优秀 harness 的设计模式，并构建有针对性的评估，以衡量对你的任务真正重要的东西。

Deep Agents 是开源的。用你偏好的开放模型试试它，来和我们一起构建出色的评估和智能体吧。