跳到正文
OpenRouter:Announcements·· 17 小时前精选AI 评分73

OpenRouter 发布新一代 Auto Router 与 Auto Code 路由器

Introducing the New Auto and Auto Code Routers

AI 导读

OpenRouter 发布新一代 Auto Router,并推出专为编码场景的 Auto Code(openrouter/auto-code),替换 openrouter/auto 即可使用。

推荐理由

官方公布新旧路由器基准对比和真实流量数据,编码场景成本比 Claude Opus 5.5 低 74%,可用于评估自动选型是否替代手动选模型。

正文 · AI 翻译

今天我们推出新一代 Auto Router。过去 3 年运营 Auto Router 积累的经验,全部用在了这次从零开始的重建上:它基于一套全新的技术底座,在不同基准测试中最高比旧版路由器快 4 倍;在我们的线上测试中,路由步骤的 p90 延迟快了 3 倍(0.65 秒对 1.96 秒)。

路由器在基准测试里拿高分,比在真实场景中表现好要容易得多。Auto Router 每月要处理来自 10 多万人的超过 2.5T token,所以它必须在真实世界里扛得住。

本次发布包含一个专为编码工作打造的全新路由器 Auto Code(openrouter/auto-code),以及我们的旗舰通用路由器 Auto Router(openrouter/auto)。

现在就可以试用:在任意请求中把 model 设为 openrouter/auto 或 openrouter/auto-code,或者打开聊天室里的 Auto Router。全部细节见 Auto Router 文档。

这一代有哪些新东西

上一代 Auto Router 依赖任务类型等少数几个不够精确的信号来决定模型选择,这是为了压低延迟、保持判断一致而不得不做的取舍。新的 Auto Router 和 Auto Code 会综合每个请求的十一个因素,再结合实时价格、提供商健康状况和缓存状态来挑选模型。

这套新流程让 Auto Router 能适配任意一组模型。你可以施加任何治理策略,包括护栏、零数据留存要求、提供商限制、允许的模型列表和 BYOK 密钥。Auto Router 会在你可用的模型范围内做出高效选择。

我们推出新的 Auto Code 路由器,是因为收到了关于在编码工具中使用通用路由器体验如何的反馈。这个路由器从底层开始就针对编码性能调优:纳入更高一档的编码模型,并优化延迟。在下面五项基准测试中,Auto Code 的得分与 Claude Opus 5.5 相当,而每个任务的成本低 74%。

Heatmap comparing the new Auto Router at its default tier, Auto Code, and the previous Auto Router at its default tier across Deep SWE, SWE-Atlas QA, Terminal Bench 4.0, τ³-bench Banking, and MMMU Pro Vision. Each benchmark shows a score and a cost per task with the multiple of the previous Auto Router; score cells are shaded green or red, deeper for larger changes (light mode)

Heatmap comparing the new Auto Router at its default tier, Auto Code, and the previous Auto Router at its default tier across Deep SWE, SWE-Atlas QA, Terminal Bench 4.0, τ³-bench Banking, and MMMU Pro Vision. Each benchmark shows a score and a cost per task with the multiple of the previous Auto Router; score cells are shaded green or red, deeper for larger changes (dark mode)

在上一代中我们还注意到,最低成本模型的效率实在太高,导致 Auto Router 在每任务成本上不断下探,把许多出色的模型排除在外。本次发布我们决定把定价拉回到接近几个月前 Auto 的水平,以便引入更多种类的模型。如果你更喜欢之前的行为,可以把 cost_tier 设为 low,获得相近的成本表现。

在聊天室里查看路由决策的依据

了解这些新路由器如何工作的最简单方式,是在聊天室里选择 Auto Router 或 Auto Code。每条回复旁边会出现一个路由洞察面板,说明路由器为什么选了这个模型。启用路由器元数据后,通过 API 也能拿到同样的分析。

The OpenRouter chatroom with Auto Router selected. A Python RecursionError question was answered by DeepSeek V4.1 Flash on InferenceNet. The routing insights panel shows the task (Debugging, 98%), the selection share across the candidate models, and the difficulty, precision, and larger-model-benefit judgments.

在每个模型页面查看实时路由分布

Auto Router 和 Auto Code 的模型页面现在会展示每个路由器最常选择哪些模型,按会话类型拆分,以及随着难度上升这一分布如何变化。

Live routing section of the Auto Router model page: a bar chart of requests in the past day by model with Agentic and Non-agentic tabs and cost tier filters, a share-of-requests list led by GPT-6.1 Sol at 33.8%, and a stacked area chart of the current routing mix for all tasks from trivial to extreme difficulty.

与其他路由器和单一模型对比性能

Auto Router 和 Auto Code 的基准测试结果发布在模型路由基准页面上,与 OpenRouter 上的其他路由器以及单一模型基线并列展示。我们会定期重跑,这样随着新模型发布,你可以跟踪每个路由器的表现。

建立在多年运营 Auto Router 的经验之上

Auto Router 即将迎来三岁生日。如果你几年前在某个智能体里设置了 openrouter/auto,今天它依然会为你选出最新的成本最优方案。我们积累了不少关于自动模型选择会在哪些地方出问题的经验,新一代产品正是为了避开这些问题而打造的。举几个例子:

我们把 Auto Code 单独拆出来,专门针对编程框架做优化。以往版本的 Auto Router 最常被吐槽的,就是它在编程框架里的表现。Auto Code 更倾向于选择略贵一档、但能力与编程工作更匹配的模型。它更看重速度,因为你在写代码时响应快慢很关键。它对失败的惩罚也更重,所以在成败界限分明的工作上能更快纠偏。

它在切换模型上很克制,以保住缓存收益。切换模型是有额外成本的,因为新模型要重建输入 token 缓存。只要调整推理强度就够用,Auto Router 就优先这么做;只有当收益值得放弃缓存时才会切换。在内测期间,它几乎每十个智能体回合就有九个停留在同一个模型上。

它会根据失败情况自适应。当一次会话以指向模型问题的方式出岔子时,比如同一个错误反复出现,或者编辑后测试仍然失败,这些信号会提高切换的概率。这样一来,会话因为早期选错模型而一直卡住的情况就少得多了。

它的调优同时基于真实使用情况和基准测试。每跑一次基准测试、每做一次真实路由决策,Auto Router 都会变得更好。通过 typesafe/jev-router 和 openrouter/auto-beta,我们已经在生产负载上验证了它,同时全程遵守零数据留存。在内测中,与上一代路由器相比,无效工具调用减少了 4 倍,智能体响应被截断的频率降低了一半。

模型路由建立在领先的提供商路由基础之上

模型路由器(如 Auto Router 和 Auto Code)决定由哪个模型来处理请求。提供商路由则决定由谁来提供这个模型。OpenRouter 从一开始就对每个请求做这件事:模型选定后,提供商路由器会根据你的提供商偏好、实时在线率与延迟、价格,以及某个提供商是否已持有你的提示词缓存,在托管该模型的提供商之间做出选择。

模型路由器的水平上限取决于底层的提供商路由器。我们打造 Auto Router 时就让它了解我们的整个模型目录,因此它能随着治理限制、基准测试结果以及新模型发布带来的市场信号实时调整。OpenRouter 上 600 多个模型中的每一个,在加入当天就进入候选范围,再由基准测试和热度信号决定它能否跻身成本最优集合。

请求如何经过 Auto Router

  1. Auto Router 先收窄模型池。护栏、零数据留存、模型能力、提供商限制、BYOK 密钥,以及任何允许或排除的模型列表,共同决定哪些模型会被纳入考虑。

  2. 一个快速的决策模型来处理请求。它在一次调用中评估十一项内容,比如这是什么类型的任务、任务是否刚刚发生变化、难度有多大、速度是否重要、是否需要视觉能力或对代码库的了解,以及换用更大的模型、更多思考还是更便宜的模型会更合适。

  3. 路由策略负责选模型。它会权衡实时价格、缓存状态和基准测试表现,据此同时决定用哪个模型以及投入多少推理力度。

  4. 请求会走一遍直接请求该模型时相同的供应商路由,因此最终会落到该模型最合适的供应商上。

  5. 每一轮的结果都会影响下一轮的模型选择。路由器会把模型是否吃力、哪些内容已经缓存等信号带入下一次决策。

路由器与单一模型

基准测试反复表明,市面上没有任何路由器能在成本与质量曲线的每一个点上胜过最强的单一前沿模型。新的 Auto Router 也不例外,我们公开它的基准测试,如实展示它的长处和短板。

当任务类型多样、组织需要把成本稳住,或者用户没时间也没兴趣跟进源源不断的模型发布时,路由器就有用武之地。相比单一模型,选择 Auto Router 或 Auto Code 是用一点峰值性能换取长期稳定、成本高效的表现。

如果你已经知道哪个模型最适合你的具体工作,就继续用它。如果你更愿意只选一次、然后把精力放在工作本身,路由器就是实现这一点的办法。

开始使用

凡是能填模型字符串的地方,都能用 Auto Router 和 Auto Code:

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openrouter/auto-code",
    "messages": [{"role": "user", "content": "Add a retry with backoff to fetchUser in api/users.ts"}]
  }'

完整设置请阅读 Auto Router 文档,或者打开聊天室里的 Auto Router,把平时需要你手动挑模型的提示词发给它。它哪里做得好、哪里做得不对,欢迎到 Discord 的 #feedback 告诉我们。

常见问题

从旧版 Auto Router 切换过来需要改什么?

什么都不用改。标识符仍然是 openrouter/auto,auto-router 插件的 cost_tier、allowed_models、excluded_models 设置也依然有效。

Auto Router 和 Auto Code 有什么区别?

两者运行在同一套路由引擎上。Auto Router 是面向混合流量和通用智能体的通用路由器,偏好成本高效的那一档模型。Auto Code 专为编码智能体和运行框架设计,起步于更高的成本档位,并会跨模型和推理力度权衡实测通过率、速度以及每个已解决任务的成本。

模型路由和供应商路由是一回事吗?

不是。模型路由决定由哪个模型处理请求;供应商路由决定由哪个供应商来提供该模型。Auto Router 和 Auto Code 负责前者,然后由 OpenRouter 的供应商路由结合你的供应商偏好、在线率数据和提示词缓存状态完成后者。

路由器会遵守我的防护规则和数据策略吗?

会。防护规则策略、零数据留存要求、供应商限制、允许和排除的模型列表以及 BYOK 密钥共同界定了模型池,路由器只在这个池子里挑选成本最优的模型。

不会。你支付的是实际处理该请求的模型的标准价格,响应中的 model 字段会告诉你用的是哪个模型。

openrouter/auto-beta 是什么?

Auto Router Beta 是下一版 Auto Router 的发布通道。新的路由改动会先发布到 openrouter/auto-beta,验证成熟后再升级到 openrouter/auto,你可以用它提前看到即将到来的变化。如果你试用了,欢迎到 Discord 的 #feedback 告诉我们它哪里做得好、哪里做得不对。

来源:OpenRouter:Announcements · openrouter.ai