跳到正文
2024年12月10日周二
  1. DeepSeek:API 更新日志67

    DeepSeek 将 deepseek-chat 升级为 DeepSeek-V2.5-1210

    DeepSeek 将 deepseek-chat 模型升级为 DeepSeek-V2.5-1210,各项能力提升。数学能力在 MATH-500 基准测试中从 74.8% 提升至 82.8%,代码能力在 LiveCodebench (08.01 - 12.01) 基准测试中从 29.2% 提升至 34.38%。新版本还优化了文件上传和网页总结功能的用户体验。

    推荐理由:DeepSeek把deepseek-chat数学拉到82.8%,代码涨了5个点,做复杂推理的开发可以试试水,但这还是V2.5系列的常规升级,别当次代际跃迁。

2024年12月4日周三
  1. LMSYS Blog

    SGLang v0.4:零开销批处理调度器、缓存感知负载均衡器及更快的结构化输出

    SGLang v0.4版本正式发布,通过零开销批处理调度器将CPU调度与GPU计算重叠,吞吐量提升1.1倍,较其他基线快1.3倍。新版本引入缓存感知负载均衡器,预测KV缓存命中率,使吞吐量最高提升1.9倍,缓存命中率从20%提升至75%。针对DeepSeek模型的数据并行注意力机制带来1.9倍解码吞吐量提升,XGrammar结构化输出速度提升达10倍。

2024年11月30日周六
2024年11月20日周三
2024年9月18日周三
2024年9月6日周五
2024年9月5日周四
  1. DeepSeek:API 更新日志78

    DeepSeek V2.5 模型发布:合并升级并提升代码与通用能力

    DeepSeek 将 V2 Chat 与 Coder V2 合并升级为 V2.5,API 用户通过 deepseek-coder 或 deepseek-chat 均可访问。新模型在通用与代码能力上显著提升,ArenaHard winrate 升至 76.3%,HumanEval 达 89%。

    推荐理由:DeepSeek 把 coder 和 chat 合并成 V2.5,API 端点不变但性能全线拉高,已有的集成直接受益,代码和通用能力不再是两张皮。

2024年9月4日周三
  1. LMSYS Blog

    SGLang v0.3 发布:DeepSeek MLA 吞吐量提升 7 倍,支持多模态视频理解

    SGLang v0.3 正式发布,实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化,采用权重吸收、FP8 量化等技术,在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持,可处理交错文本、多图像及视频输入,速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力,突破 4K 限制。

2024年8月16日周五
2024年8月2日周五
2024年7月26日周五
2024年7月25日周四
  1. DeepSeek:API 更新日志62

    DeepSeek API 更新:/chat/completions 新增 JSON 输出、Function 调用与 8K 最长输出(Beta)

    DeepSeek 更新 /chat/completions 接口,新增 JSON 输出、Function 调用、对话前缀续写(Beta)及 8K 最长输出(Beta)。同时新增 /completions 接口,支持 FIM 补全(Beta)。

    推荐理由:DeepSeek API 这次更新补上了 Function calling 和 JSON 模式,加上 FIM 补全,让开发者的工具调用和代码补全场景有了更完整的方案,虽然都是 Beta 但方向很对。

2024年7月24日周三
  1. DeepSeek:API 更新日志63

    DeepSeek-Coder 升级为 DeepSeek-Coder-V2-0724

    DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0724。此次升级为模型版本更新,具体参数规模、性能基准及可用性细节未在更新日志中披露。

    推荐理由:DeepSeek Coder 升级到 V2-0724,编码能力再进一步,对 API 用户是直接可用的提升,虽然官方没给技术细节,但仍值得关注。

2024年7月23日周二
2024年7月18日周四
2024年6月14日周五
2024年5月17日周五
  1. DeepSeek:API 更新日志68

    DeepSeek 将 deepseek-chat 升级为 DeepSeek-V2-0517,指令跟随与 JSON 输出能力大幅提升

    deepseek-chat 模型升级为 DeepSeek-V2-0517,IFEval Benchmark Prompt-Level 准确率从 63.9% 跃升至 77.6%,API 端“system”区域指令跟随能力同步优化,增强沉浸式翻译、RAG 等任务体验。JSON 格式输出准确性提升,内部测试集解析率从 78% 提高至 85%,引入恰当正则表达式后进一步升至 97%。

    推荐理由:DeepSeek V2 的指令跟随从及格线拉到优秀线,IFEval 提升近 14 个点,沉浸式翻译和 RAG 体验会有明显改善,做应用层的值得试一下。