Hamel Husain 实测决策模型自动评测与阈值调优

Hamel Husain 发布长文，介绍如何用决策模型做自动化评估：先调阈值以取得最佳效果，再在阈值调好的前提下比较成本与性能，最后讨论如何解读模型分数、以及校准如何让分数更适合当作置信度使用。 他用 100 条公寓租赁客服 trace 实测了 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 与 d1-ultra、Cloudflare Clef Flash 和 OpenAI Decisions（GPT-6 Luna），任务是识别失败案例。 这些实测结果来自上述单一客服场景，文中对成本、性能与校准效果的比较也限于该场景，不能直接推广到其他任务。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。