跳到正文
热点事件持续更新

Baseten用Claude Code自动构建推理引擎

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月3日,Baseten工程博客发布工程师实测:团队参考MetaInfer论文,让Claude Code(Fable 5)为Qwen-3.6-35B-A3B(NVFP4,单张B200)自动构建推理引擎VibeQwen。据该博客称,VibeQwen单流解码比vLLM 0.25.1快最多90%,首token从28ms降至12ms,并发32时吞吐高71%。上述数据均来自Baseten一方,为特定模型、量化格式与单张B200配置下的对比结果,尚待独立验证。该事件目前仅此一篇一手报道,此前版本标题为“Baseten分享使用Claude Code优化推理引擎的工程实践”,本次新增的是具体性能数字与实验配置。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月3日
  1. Baseten 工程博客精选
    Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

    Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。