邵猛提出利用任务 token 智能需求的不对称性,为 Claude Fable 5 设计成本高效 Harness。三种模式:Orchestrator(编排)、Advisor(顾问)、Verifier(验证)。实验一:Fable 顾问+Sonnet 执行者,以 34% token 成本达 Fable-solo 约 90% 增益,发现中段检查点纠偏更关键。实验二:BrowseComp 完整集(~31M tokens/题)实现 96% 分数/46% 成本,易子集无收益。四条准则:审视任务形状、使用委派启发式、评估协调成本、保证 prompt cache 命中。终极目标是让 Fable 5 自写 harness。
为 Claude Fable 5 设计「成本高效 Harness」
这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 token 维度上是不对称的——少数 token 需要前沿判断力,多数 token 只需廉价执行。Harness 的价值在于识别这种不对称,在正确的位置注入前沿智能。
三种分配模式
1. Orchestrator
Fable 5 担任编排者,委派廉价 worker
适用于:前期规划型
2. Advisor
Fable 5 担任顾问,被低阶执行者咨询
适用于:判断散布全流程
3. Verifier
Fable 5 担任验证者,检查产出
适用于:末端审查型(如 /goal 循环)
实验一:Parameter Golf
Fable 5 作顾问在初始 + 2 检查点介入,Sonnet 5 作执行者跑 20 轮 ML 实验设计。以 34% token 成本拿到 Fable-solo 约 90% 的增益。
反直觉:前置规划无效——Fable 初始排序与有效方向反相关。真正价值来自中段检查点:Sonnet 5 易陷边际增益 hill-climbing,Fable 提供方向纠偏与重新排序。
结论:探索性任务中每轮结果都重塑下一步方向,判断力须散布全流程而非前置一次。
实验二:BrowseComp
多约束 Web 检索,测试委派 Sonnet worker 何时真省钱。
易子集(~0.37M tokens/题):Fable 单独更便宜,协调加价 60% 无收益。 完整集(~31M tokens/题):Fable 编排 + Sonnet worker,96% 分数 / 46% 成本,套利显现。
协调成本两大来源:边界重复(跨模型 token 计费至少两次)+ 扇出重叠(worker 互不通信、研究范围部分重合)。
临界条件:worker 吸收的 token 量须足够大,节省才能摊薄固定交接成本。且 Fable 自身 token 效率高,低 $/token 不等于真省钱——看净收益。
四条 Harness 设计准则
1. 审视任务形状——判断散布型 → 廉价执行者 + Fable 顾问;判断前置/审查型 → Fable 编排者或验证者。
2. 使用委派启发式——为 Claude 提供 worker 的"品味"与"智能"先验排序(如 theo 的模型 rank),帮助 harness 动态决定何时调用哪个模型。
3. 评估协调成本——确保委派的 token 量足够大以摊薄固定交接成本;Fable 5 自身 token 效率高,意味着"用便宜模型替代"未必真便宜。
4. 保证 prompt cache 命中——子 agent 应跨调用复用同一 worker 以累积缓存,避免每次 spawn 新 worker 重复支付 context write 费用。低 cache 命中率会直接抵消低 $/token 的成本优势。
终极走向
Fable 5 可根据任务即时自写 harness。本文提供的任务形状分析、委派成本权衡、cache 管理等考虑,正是让 Claude 自主生成"选择性施加前沿智能"的 cost-effective harness 所需的内化知识。
http://x.com/i/article/2075610072118702081在 X 查看被引用的帖子
来源:meng shao · x.com