跳到正文
2025年9月29日周一
  1. LMSYS Blog

    SGLang 发布首日支持 DeepSeek-V3.2:集成稀疏注意力机制

    SGLang 在发布首日即支持 DeepSeek-V3.2,该模型基于 DeepSeek-V3.1-Terminus 引入 DeepSeek Sparse Attention (DSA) 机制。DSA 通过 Lightning Indexer 和 Top-k Token Selection 将注意力复杂度从 O(L²) 降至 O(Lk),在 128K 长上下文下实现训练与推理效率大幅提升且质量损失可忽略。SGLang 实现了专用缓存与 Native Sparse Attention 后端,并提供了面向 NVIDIA、AMD MI350X/MI355X 及 NPU 的部署方案与容器镜像。

2025年9月26日周五
  1. LMSYS Blog

    蚂蚁集团联合SGLang:H20-96G部署DeepSeek-R1最佳实践

    蚂蚁集团联合SGLang提出H20-96G部署DeepSeek-R1的工业级方案。针对H20高内存带宽、低计算吞吐特性,采用硬件感知策略:单节点TP-8处理prefill,小规模EP-16处理decode。结合FlashMLA-FP8、DeepGEMM swapAB内核优化与异步Expert Affinity负载均衡技术,在4096 token序列上实现单节点16.5k输入/5.7k输出token/秒的吞吐,达H20平台SOTA性能。

2025年9月25日周四
  1. LMSYS Blog

    GB200 NVL72部署DeepSeek V3/R1(二):PD分离与大规模EP实现3.8倍Prefill、4.8倍Decode吞吐

    SGLang团队基于GB200 NVL72优化DeepSeek V3/R1推理,采用FP8 Attention、NVFP4 MoE、大规模专家并行及PD分离等技术。2000 token输入下,单卡Prefill达26,156 tokens/s,Decode达13,386 tokens/s,较H100提升3.8倍和4.8倍。BF16/FP8配置下仍达18,471/9,087 tokens/s。FP8与NVFP4低精度内核分别带来1.8倍和1.9倍加速且精度损失可忽略。

2025年9月22日周一
  1. DeepSeek:API 更新日志37

    DeepSeek-V3.1-Terminus 发布:deepseek-chat 与 deepseek-reasoner 同步升级

    DeepSeek 将 deepseek-chat 和 deepseek-reasoner 均升级为 DeepSeek-V3.1-Terminus,前者对应非思考模式,后者对应思考模式。此次更新在保持原有能力基础上,针对用户反馈改进了语言一致性,缓解中英文混杂及偶发异常字符,并进一步优化了 Code Agent 与 Search Agent 的表现。

2025年8月21日周四
  1. DeepSeek:API 更新日志71

    DeepSeek-V3.1 发布,升级 chat 与 reasoner 双模式

    DeepSeek-V3.1 正式发布,deepseek-chat 与 deepseek-reasoner 分别对应其非思考与思考模式。新模型采用混合推理架构,思考效率较 DeepSeek-R1-0528 更高,并通过 Post-Training 优化提升工具使用与智能体任务表现。

    推荐理由:DeepSeek 把推理和非思考模式合并到一个模型,解决了之前切模型的体验割裂,Agent 能力提升对做工具调用的开发者是直接利好。

2025年6月16日周一
  1. LMSYS Blog

    在GB200 NVL72上部署DeepSeek 671B:PD与大规模EP架构实现2.7倍解码加速

    SGLang团队在GB200 NVL72集群部署DeepSeek 671B模型,采用预填充-解码分离(PD)与大规模专家并行(EP)架构,结合Blackwell专用优化组件(DeepGEMM、DeepEP等),实现单GPU解码吞吐7,583 tokens/秒。在2,000 token输入下,性能较H100提升2.7倍,整体加速比达2.5-3.4倍。系统利用NVLink全互联降低通信延迟,依托更大显存支持高批次处理,显著提升MoE模型推理效率。

2025年5月28日周三
  1. DeepSeek:API 更新日志71

    DeepSeek 将 deepseek-reasoner 升级为 DeepSeek-R1-0528

    DeepSeek 将 deepseek-reasoner 模型升级为 DeepSeek-R1-0528,推理能力显著增强,AIME 2025 得分从 70.0 升至 87.5,GPQA 从 71.5 升至 81.0。新版本优化了 Web 前端开发能力,并极大抑制了老版本 R1 的幻觉问题,同时支持 Json Output 与 Function Calling。

    推荐理由:DeepSeek 把 R1 的推理能力又拉高了一大截,AIME 涨 17 分、Aider 涨 14 分,JSON Output 和 Function Calling 的加入让它在 agent 场景里更实用了,做复杂推理产品的人应该第一时间切过去试试。

2025年4月15日周二
2025年3月24日周一
  1. DeepSeek:API 更新日志72

    DeepSeek 将 deepseek-chat 升级为 DeepSeek-V3-0324

    DeepSeek 将 deepseek-chat 模型升级为 DeepSeek-V3-0324,推理能力增强,MMLU-Pro 升至 81.2,AIME 升至 59.4。同时优化了 Web 前端开发、中文写作(对齐 R1 风格)、中文搜索及 Function Calling 准确率,并修复了此前问题。

    推荐理由:这是 DeepSeek V3 发布后的一次重要版本更新,推理和代码能力提升显著,AIME 提升近 20 分,前端和中文写作体验优化,API 用户应该尽快切换。

2025年2月20日周四
2025年2月14日周五
2025年1月29日周三
2025年1月20日周一
  1. DeepSeek:API 更新日志73

    DeepSeek 发布 deepseek-reasoner 推理模型

    DeepSeek 推出新模型 DeepSeek-R1,可通过指定 model=deepseek-reasoner 调用。该模型为推理模型,详细更新与调用指南已分别发布。

    推荐理由:R1 的 API 开放让开发者能直接调用推理能力,对需要深度思考的应用是个关键接入点,成本比同类更低。

2024年12月26日周四
2024年12月10日周二
  1. DeepSeek:API 更新日志67

    DeepSeek 将 deepseek-chat 升级为 DeepSeek-V2.5-1210

    DeepSeek 将 deepseek-chat 模型升级为 DeepSeek-V2.5-1210,各项能力提升。数学能力在 MATH-500 基准测试中从 74.8% 提升至 82.8%,代码能力在 LiveCodebench (08.01 - 12.01) 基准测试中从 29.2% 提升至 34.38%。新版本还优化了文件上传和网页总结功能的用户体验。

    推荐理由:DeepSeek把deepseek-chat数学拉到82.8%,代码涨了5个点,做复杂推理的开发可以试试水,但这还是V2.5系列的常规升级,别当次代际跃迁。

2024年12月4日周三
  1. LMSYS Blog

    SGLang v0.4:零开销批处理调度器、缓存感知负载均衡器及更快的结构化输出

    SGLang v0.4版本正式发布,通过零开销批处理调度器将CPU调度与GPU计算重叠,吞吐量提升1.1倍,较其他基线快1.3倍。新版本引入缓存感知负载均衡器,预测KV缓存命中率,使吞吐量最高提升1.9倍,缓存命中率从20%提升至75%。针对DeepSeek模型的数据并行注意力机制带来1.9倍解码吞吐量提升,XGrammar结构化输出速度提升达10倍。

2024年9月5日周四
  1. DeepSeek:API 更新日志78

    DeepSeek V2.5 模型发布:合并升级并提升代码与通用能力

    DeepSeek 将 V2 Chat 与 Coder V2 合并升级为 V2.5,API 用户通过 deepseek-coder 或 deepseek-chat 均可访问。新模型在通用与代码能力上显著提升,ArenaHard winrate 升至 76.3%,HumanEval 达 89%。

    推荐理由:DeepSeek 把 coder 和 chat 合并成 V2.5,API 端点不变但性能全线拉高,已有的集成直接受益,代码和通用能力不再是两张皮。

2024年9月4日周三
  1. LMSYS Blog

    SGLang v0.3 发布:DeepSeek MLA 吞吐量提升 7 倍,支持多模态视频理解

    SGLang v0.3 正式发布,实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化,采用权重吸收、FP8 量化等技术,在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持,可处理交错文本、多图像及视频输入,速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力,突破 4K 限制。

2024年8月2日周五
2024年7月25日周四
  1. DeepSeek:API 更新日志62

    DeepSeek API 更新:/chat/completions 新增 JSON 输出、Function 调用与 8K 最长输出(Beta)

    DeepSeek 更新 /chat/completions 接口,新增 JSON 输出、Function 调用、对话前缀续写(Beta)及 8K 最长输出(Beta)。同时新增 /completions 接口,支持 FIM 补全(Beta)。

    推荐理由:DeepSeek API 这次更新补上了 Function calling 和 JSON 模式,加上 FIM 补全,让开发者的工具调用和代码补全场景有了更完整的方案,虽然都是 Beta 但方向很对。

2024年7月24日周三
  1. DeepSeek:API 更新日志63

    DeepSeek-Coder 升级为 DeepSeek-Coder-V2-0724

    DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0724。此次升级为模型版本更新,具体参数规模、性能基准及可用性细节未在更新日志中披露。

    推荐理由:DeepSeek Coder 升级到 V2-0724,编码能力再进一步,对 API 用户是直接可用的提升,虽然官方没给技术细节,但仍值得关注。

2024年6月14日周五
2024年5月17日周五
  1. DeepSeek:API 更新日志68

    DeepSeek 将 deepseek-chat 升级为 DeepSeek-V2-0517,指令跟随与 JSON 输出能力大幅提升

    deepseek-chat 模型升级为 DeepSeek-V2-0517,IFEval Benchmark Prompt-Level 准确率从 63.9% 跃升至 77.6%,API 端“system”区域指令跟随能力同步优化,增强沉浸式翻译、RAG 等任务体验。JSON 格式输出准确性提升,内部测试集解析率从 78% 提高至 85%,引入恰当正则表达式后进一步升至 97%。

    推荐理由:DeepSeek V2 的指令跟随从及格线拉到优秀线,IFEval 提升近 14 个点,沉浸式翻译和 RAG 体验会有明显改善,做应用层的值得试一下。