JetSpec++ 投机解码提速最高 7.45 倍

JetSpec++ 在 Qwen3.8-27B 上把收益转向接受率：相比 DSpark，每轮接受 token 数提升 22%，而 8B 上仅提升 6%（GSM8K，按实际服务配置）。模型仅在 16 大小的块上训练，却能外推到 32 大小的块：8B 在 MATH-500 上每轮 14.55 token、27B 为 14.05，DSpark 则降至 8.66 和 8.49。

[5/5] JetSpec++ 的模型、代码和推理引擎已全面开源。欢迎试用，并在评论区告诉我们你的想法！ 更多详情请查看我们的论文和下方链接！ 论文：https://arxiv.org/abs/2610.19792 代码：https://github.com/hao-ai-lab/JetSpec HF：https://huggingface.co/collections/JetSpec/jetspec-plus-plus-releases

JetSpec++ 让草稿时间几乎移出关键路径，在 GSM8K 上 Qwen3-8B 每轮草稿-验证延迟从 DSpark 的 9.92 ms 降至 6.84 ms（草稿时间 3.76 ms→0.61 ms），Qwen3.8-27B 从 31.88 ms 降至 28.47 ms（4.46 ms→0.71 ms）。

[3/5] 等待验证结果的剩余空闲时间，现在全部用于打磨更好的草稿。在目标模型验证期间，JetSpec++ 会修正自己的并行草稿：它依据自身猜测重新起草，刷新预测的上下文，并在由目标模型最后几层构建的解码器出现分歧的位置修正第一个 token。 在 7 个基准上，每轮平均接受 8.94 个 token，而 DSpark 为 6.89 个。

UCSD Hao AI Lab 推出 JetSpec++，用因果并行草稿、隐状态预测器和锚点 token 解码器，在当前块验证前先草拟下一块，把草稿与验证流水线化，几乎隐藏全部草稿开销。