跳到正文
Fireworks AI·· 2026-09-14精选AI 评分72

Fireworks 实测 DeepSeek-V4.1-Flash:DeepSWE 达 GPT-6 Astra 水平、单任务成本仅 1/15

DeepSeek-V4.1-Flash on Fireworks: Astra-level DeepSWE at 1/15th the cost

AI 导读

Fireworks 对上周发布的 DeepSeek-V4.1-Flash 进行全套基准评测,在 DeepSWE 上以 74.34% pass@1 达到 GPT-6 Astra 级编码准确率,每任务 $0.43、约为 Astra 的 1/15。

推荐理由

原文给出 DeepSeek-V4.1-Flash 与多款前沿模型的实测成本与准确率数据,可帮助读者按任务匹配合适模型。

正文 · AI 翻译

上周,Fireworks 发布了最新的 DeepSeek-V4.1-Flash。在对其进行全套基准测试后,结果显示它在质量、速度和成本等关键权衡上树立了新的帕累托前沿。在 DeepSWE 上,它以每任务 1/15 的价格达到了 GPT-6 Astra 级别的编码准确率。

开发者经常问我们如何选择合适的模型。现实情况是,模型只是地图上的一个点,而你的应用是一个完整的系统。AI 能力参差不齐,这意味着一个模型可能出色地处理某项任务,却在另一项任务上表现不佳。由于没有单一模型能在所有场景中胜出,工作负载设计归根结底在于将合适的模型匹配到合适的任务,无论你需要低延迟处理,还是为复杂推理进行深度计算。

图 1:你的工作负载是一个任务系统

以下是 DeepSeek-V4.1-Flash 在不同工作负载下的实际表现,以及它可能适合你技术栈中的哪个位置。

我们评估了 DeepSWE 基准,以了解各模型如何在准确率与每任务成本之间取得平衡。

模型努力程度Pass@1成本/任务

DeepSeek V4.1-Flash

max

74.34%

$0.430

GPT-6-Astra

xhigh

74.12%

$6.524

Gemini 3.8 Flash

high

73.83%

$2.362

Claude Opus 5

max

73.65%

$11.838

在质量方面,这四个模型属于同一级别。在 DeepSWE 上,四者的 pass@1 差距都在 0.7 分以内,而我们多次运行的波动为 1.4 到 3.2 分,因此这一组中没有哪个模型在质量上明显领先。差异完全体现在成本上:在 Fireworks 上运行的 DeepSeek-V4.1-Flash 以每任务 $0.43 的成本提供相同的准确率区间,比 Gemini 3.8 Flash 低 5.5 倍,比 GPT-6 Astra 低 15 倍,比 Claude Opus 5 低 28 倍。

新的 DeepSeek-V4.1-Flash 模型从根本上改变了自主软件工程任务的单位经济性。在 GPT-6 Astra 和 Opus 5 等昂贵的闭源模型上运行高迭代的智能体工作流、多轮缺陷排查或大规模测试生成,会迅速耗尽工程预算。以每任务 $0.43 的成本,前沿级 SWE 智能体可以作为持续运行的后台基础设施变得可行。借助 DeepSeek V4.1 Flash,你现在可以用一次 Astra 调用的价格运行 15 次自主编码尝试。

DeepSeek-V4.1-Flash 是 DeepSeek 新架构家族中最小的模型,并带来了一些新的架构增强。

它由 552B 参数的 MoE 组成,采用新的编码器–解码器分离架构。在这种架构中,模型不再为整个前向传播设置一个激活预算,而是将其拆分为输入 8B 激活参数和输出 16B 激活参数。这带来了更高效的设计,从而实现更经济的 token 开销。

这种不对称性与编码智能体的运作方式相吻合。典型的智能体轨迹非常偏重输入。编码智能体经常重读文件、重读自己的暂存区、重读工具输出,并输出相对较小的补丁。在我们的 DeepSWE 运行中,模型每任务消耗 36.9M 输入 token,而输出 token 为 211K,比例为 174:1。这种架构使开发者能够在输入侧花费一半的计算量,而输入侧通常占据更大比例的 token。

与上一代 DeepSeek V4 相比,DeepSeek 提升了 DeepSeek-V4.1-Flash 上的 KV Cache 利用率,仅消耗 ¼ 的 HBM 和 ⅛ 的 SSD 存储。

Figure 2: KV Cache on DeepSeek-V4.1-Flash
图 2:DeepSeek-V4.1-Flash 上的 KV Cache

这一新的 KV Cache 优化为你的编码智能体带来了更好的经济性。从 DeepSWE 运行中,我们得到以下经济性数据:

成本构成Token/任务费率成本/任务占比

未缓存输入

148,741

$0.22/M

$0.0327

7.6%

缓存输入

36,744,586

$0.007/M

$0.2572

59.9%

输出

211,513

$0.66/M

$0.1396

32.5%

总计

$0.4295

本次运行中 99.6% 的输入 token 是缓存命中,而缓存命中的费用占账单的 60%。

大多数人以为 agent 的经济账意味着你主要在为模型生成的内容付费。然而在长时间运行的 agent 循环中,大部分开销来自反复重读相同的上下文。这种由重复任务带来的开销循环,使得 KV 缓存内存减少 4 倍对你的 token 支出产生更大影响。它直接针对你 agent 设计中最大的成本驱动因素,将 74% 级别的 DeepSWE 分数成本降低 15 倍。SSD 开销减少 8 倍与 HBM 优化形成互补,使长轨迹中的缓存命中率保持在接近 99%。

在另一项任务上,我们看到了类似的情况:DeepSeek-V4.1-Flash 正以极低的成本逼近前沿水平。

模型准确率

GPT-6-Astra

87.5%

DeepSeek-V4.1-Flash

86.5%

在 Terminal-Bench 2.1 上,两者的质量仅相差一个百分点,但经济性差异显著。DeepSeek-V4.1-Flash 平均使用的输出 token 约为 Astra 的 4 倍,意味着它思考更久、写得更多。仅从输出定价来看,结果就是成本优化了 20 倍。把一切因素——包括未缓存输入、缓存命中和输出——综合起来,DeepSeek-v4.1-Flash 在几乎相同的质量下,每任务成本低 12 倍。

HLE 与 oracle 路由评测

我们运行了第三项基准任务——Humanity's Last Exam,也称为 HLE。这是一个多模态基准,用于衡量 LLM 在研究生水平学术科目上的极限。在这次测试中,我们还用 oracle 路由做了一些基准测试,类似于我们在 Kimi K3 和 DeepSeek V4 Pro 上所做的。快速回顾一下:oracle 路由是一种衡量最佳理论性能的方法,它让任务分别经过每个模型运行,然后挑选成本最优的正确选项,以确立成本和性能的上限。

配置HLE 分数

DeepSeek-V4.1-Flash

34.52%

GPT-6-Astra

50.40%

Oracle 路由(GPT-6-Astra + DeepSeek-V4.1-Flash 最优组合)

54.80%

在 HLE 上,DeepSeek-V4.1-Flash 单独运行时落后于 Astra。这表明 DeepSeek 单独更适合 DeepSWE 这类 agentic 编码任务,而非 HLE 这类推理任务。如果你的工作负载只是高难度科学推理,这可能不是合适的选择。

oracle 路由是这里有趣的结果,它显示了路由和多模型系统的重要性。Astra 加 DeepSeek V4.1 的 oracle 路由表现优于单独的 GPT-6 Astra。这 4.4% 的差距只有在 V4.1-Flash 正确回答了一组 Astra 答错的有意义问题时才能实现。34.52% 并不是 50.40% 的子集;两个模型在不同的问题上失败。需要考虑的是,oracle 路由是你的应用可能达到的上限。真实的路由器可能无法完全捕捉这 4.4 个百分点的差距,但 oracle 路由展示了多模型系统超越单独 Astra 模型的可能性。

Fireworks 的 DeepSeek-V4.1-Flash 树立了新的性价比基准:在编程准确率上可与 GPT-6 Astra 等顶级模型匹敌,而每任务成本仅为后者的 1/15。其 552B MoE 设计采用分离的输入/输出激活预算,并配合升级的 KV 缓存以降低 HBM 占用,从而为你的编程智能体带来更好的经济性。它在复杂的学术推理上落后(HLE 为 34.52%,而 Astra 为 50.40%),但由于它解决的问题与 Astra 不同,将两者组合在路由系统中,能以远低于单独使用 Astra 的预算取得更优表现。

  • 无服务器与专用 API:直接在 Fireworks 无服务器上开始使用 DeepSeek-V4.1-Flash,或为你的生产工作负载使用专用容量。
    • 敬请期待,面向受监管行业的美国托管端点即将推出
  • 如果你有兴趣,联系我们的团队以获取即将推出的训练支持。

想在你的工作负载上试用?我们很乐意了解你的体验,请在 X(@FireworksAI_HQ)上标记我们,并告诉我们你正在构建什么!

来源:Fireworks AI · fireworks.ai