Pydantic AI 基准：Code Mode 长任务省成本，小任务更贵

Pydantic AI 的 Michael Pfaffenberger 用 5 个小型 Pydantic AI 应用、8 个模型、5,276 次评分运行，测试 Code Mode 在 Agent 任务中的成本、耗时与成功率。结果显示，在长任务上，成本降低 58%、耗时减少 51%、成功率提高 16 个百分点；当任务规模达到 200 项时，成本便宜 47% 到 75%。 但这一优势并不适用于所有任务：在小任务上，Code Mode 反而更贵。测试中，每个 run_code 代码片段默认有 30 秒执行时间和 256 MiB 堆内存限制。 上述数据来自 Pydantic AI 自建的内部基准，并非第三方独立评测。因此，这些数字反映的是该团队在特定应用和模型组合下的测试结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。