Shopify 把开源小模型训练成"任务专家"：GraphQL 子 Agent 效果略超前沿模型，速度快 7 倍、成本降约 90%

来自 @ShopifyEng 团队 @Drewch 对 NVIDIA GTC Berlin 2026 演讲的整理，Shopify 的电商助手 Sidekick 采用 "前沿模型做主脑，开源模型做专家" 的分工：前沿模型负责和商家对话、规划和调用工具；读得多、写得少的重活，交给自己后训练、自己部署的开源模型。在 GraphQL 任务上，效果、速度、成本三项都占优。
https://shopify.engineering/open-model-task-experts

为什么要这样分工
GraphQL 子 Agent 要读 API schema、查文档、写查询、执行并返回结果，每输出 1 个 Token 要读大约 40 个 Token。用前沿模型的 API，每个 Token 都要付费，所以这类上下文很重的任务最适合交给自己部署的小模型。

做法：一个反复迭代的模型优化飞轮

1. 先定义质量：产品专家制定评分细则（完整性、能否执行、回答质量），以两位专家之间的一致程度为标准，用 GEPA、ACE 优化 LLM 评审，直到它和人工标注的一致程度一样高。之后所有改动都由这个评审打分。

2. 先把前沿模型的 Agent 调到最好：用 autoresearch 循环，每次只对提示词、工具描述或控制流做一个小改动，分数提高才保留。调好的前沿 Agent 就是开源模型要超越的基准线。

3. 选模型：不做预训练，把候选模型放到真实子 Agent 里，用同样的工具和评审测试。最终选了 Nemotron 3.5 Lightning，一个总参数 300 亿、每个 Token 激活 30 亿参数的 MoE 模型。

4. 一开始就测推理性能：在生产环境跑不动的模型不值得训练。他们用 AIPerf 回放生产流量（用合成文本代替客户数据），据此选择推理框架。

5. 把失败案例变成训练数据（自愈）：每晚由评审抽查生产对话，不完美的交给前沿模型当"批评者"，它只给提示，不给答案；再由模拟商家带着提示重跑。通过后去掉提示、做匿名化处理，加入训练集。最近 86 个晚上，修复了 59535 条对话，占尝试修复的失败案例的 69%，剩下的由人工修正。

6. 后训练：在 Blackwell GPU 上用 Megatron Bridge 训练，然后重新评分，进入下一轮。

结果（GraphQL 任务）
· 评审分数：Nemotron 开箱只有 37.7，前沿模型是 73。第一轮训练后到 61.5，经过 6 轮、6.1 万条修复样本后达到 74.5。
· 速度：中位响应 0.87 秒，前沿模型 API 是 6.50 秒；最慢的 1% 请求快 8 倍。
· 成本：比前沿模型低约 90%。各个后训练模型自托管后，成本比前沿模型的定价低 90% 到 98%。