跳到正文
10月20日周二
10月18日周日
10月17日周六
  1. DeepSeek:API 更新日志67

    DeepSeek 开放自研搜索 API

    DeepSeek 开放自研搜索 API,底层由 AI 原生的 DeepSeek 搜索引擎提供,每天稳定处理数亿次搜索请求。该引擎索引全球千亿级网页、支持多语言,并通过识别机制过滤 SEO 作弊、GEO 操纵和低质 AIGC,使用方式见网页搜索与抓取指南。

    推荐理由:原文给出开放入口、索引规模与过滤机制,接入 RAG 或智能体的开发者可据此评估是否纳入现有工作流。

10月15日周四
10月13日周二
10月8日周四
10月3日周六
10月2日周五
  1. Ai2 / Allen Institute for AI62

    Ai2 开源 8B 科学报告生成模型 AstaBrief

    Ai2 开源 AstaBrief 8B,一个基于 Qwen3-8B、将研究问题和检索文献片段转化为带引用报告的科学报告生成模型,现已在 Asta 的 Generate a report 功能中作为 Fast mode 上线,并连同训练数据开放下载。

    推荐理由:原文给出训练数据构成、过滤方法与速度成本对比,读者可据此判断开源科学报告模型的具体做法是否可迁移。

9月28日周一
  1. 字节 Seed:Research Papers59

    字节 Seed 论文发现 DeepSeek-V4 等分块 KV 缓存压缩模型存在周期性检索弱位

    字节 Seed 团队发表论文,发现使用分块 KV 缓存压缩的模型存在相位敏感性:检索精度随信息相对压缩窗口边界的位置周期性波动。在 DeepSeek-V4 系列上,128K 上下文的 NIAH 检索精度跨相位差异最高达 40.2 个百分点,预填充长度变化会让代码补全预测每 4 个 token 周期性翻转,与其压缩步长一致。

9月15日周二
9月12日周六
  1. Baseten 工程博客76

    DeepSeek 发布开源模型 DeepSeek-V4.1-Flash,优化编码智能体 prefill 效率

    DeepSeek 本周在 HuggingFace 开源 DeepSeek-V4.1-Flash 权重,模型总参数 552B,prefill 激活 8B、decode 激活 16B,支持 1M token 上下文和文本加图像输入,已上线 Baseten Model APIs。

    推荐理由:文章解释了 CED 架构如何把 prefill 降到 8B 激活参数并压缩 KV cache,读者能理解它为何更适配编码智能体的高 prefill 负载。

9月10日周四
  1. DeepSeek:API 更新日志80

    DeepSeek 发布 V4.1-Flash,API 价格同步下调

    DeepSeek 发布 DeepSeek-V4.1-Flash,是全新模型结构系列中最小尺寸的模型,具备原生多模态视觉理解能力,评测包括 GPQA Diamond 90.9、HLE 36.8、Codeforces Rating 3471、Terminal-Bench 2.1 90.6 等。

    推荐理由:官方发布附带完整评测数字和 API 切换细节,读者可据此判断新模型能力水平及旧模型下线对现有调用和计费的影响。

8月29日周六
  1. LMSYS Blog66

    SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3

    SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家。

    推荐理由:原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

8月26日周三
  1. Fireworks AI68

    DeepSeek V4 Pro 0813 上线 Fireworks:SWE-Bench Verified 达 95.2%,单任务成本约为 Fable 5 的三分之一

    Fireworks 上线 DeepSeek V4 Pro 0813,提供 serverless、专属部署及 SFT/DPO/RFT 训练支持,模型具备 1M token 上下文窗口和原生工具调用。

    推荐理由:原文用四组基准和逐任务成本数据对比 V4 Pro 与 Fable 5、Kimi K3,并指出 Java 弱项与路由空间,读者可据此选型。

8月21日周五
  1. DeepSeek:API 更新日志67

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek 上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,可通过设置 model='deepseek-v4-flash-vision-exp' 在 API 平台访问。

    推荐理由:实验版在纯文本能力与正式版持平的基础上补齐视觉,多模态 Agent 基准接近 Opus-4.8,让依赖视觉的 DeepSeek 工作流无需切换后端即可评估更强感知能力。

8月20日周四
  1. LMSYS Blog73

    突破 DeepSeek-V4-Pro 服务极限:H20 上的多场景优化方法

    LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro,在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s,与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。

    推荐理由:文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

8月18日周二
8月17日周一
  1. Together AI 研究与产品博客70

    Together AI 实测 DeepSeek V4 Pro 0813 对比 Claude Fable 5 在 DeepSWE 上的成本、编码与路由表现

    Together AI 在 DeepSWE 全部 113 个任务、每任务 4 次试验(共 904 次 rollout)上对比 DeepSeek V4 Pro 0813 与 Claude Fable 5。

    推荐理由:原文基于同一批 904 次 rollout 的实测数据,给出两模型在 DeepSWE 上的成本与互补性对比,以及可复用的级联路由结果。

8月13日周四
  1. DeepSeek:API 更新日志81

    DeepSeek-V4-Pro 正式版上线,Agent 能力大幅增强

    DeepSeek-V4-Pro 正式版已在 APP、网页端和 API 同步上线,模型名设为 deepseek-v4-pro 即可使用。其 Agent 能力显著提升,HLE (wo/w tools) 达 42.7/60.0,Terminal Bench 2.1 为 87.9。

    推荐理由:峰谷定价把闲时成本降至高峰一半,适合批量推理、评估任务等可延迟工作负载调整执行时间,为降低 API 支出提供空间。

8月6日周四
  1. Together AI 研究与产品博客80

    Together AI 实测 DeepSWE:DeepSeek-V4 Flash 0731 对比 GPT-5.6 Luna 的成本与编码表现

    Together AI 在 113 个 DeepSWE 任务上对比 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna:Luna pass@1 为 67.2%,DeepSeek 为 53.3%,但 DeepSeek 每次 rollout 成本约 $0.10,仅为 Luna($0.61)的约六分之一。

    推荐理由:原文基于同一轮 900 次 rollout 实测给出两款模型的成本、失败模式与分域表现,并提出可复用的低成本级联方案。

7月31日周五
  1. DeepSeek:API 更新日志72

    DeepSeek-V4-Flash 正式版 API 上线公测

    DeepSeek-V4-Flash 正式版 API 上线公测,模型名设为 deepseek-v4-flash 即可使用,调用方式不变。其 Agent 能力大幅增强,Terminal Bench 2.1 得分 82.7,NL2Repo 54.2,Toolathlon verified 70.3,DSBench-Hard 59.6,多项基准远超 V4-Pro-Preview。

    推荐理由:DeepSeek V4-Flash 正式版 Agent 能力大幅跃升,多个编码 agent 基准分数翻倍,对做代码助手的团队是个高性价比的生产力入口。虽然是 Flash 版,但后训练打磨的成果让人更期待 Pro 正式版。

7月17日周五
  1. 英国 AI Security Institute:Blog70

    AISI 首次公开评估:领先开源权重模型的网络安全能力落后前沿 4 至 7 个月

    英国 AI Security Institute 首次公开分析领先开源权重模型的网络安全能力差距,测试发现 GLM-5.2 是测试时最强的开源权重模型,在 AISI 窄域网络任务上接近 4 个月前发布的 Opus 4.6,在长时程网络靶场上接近 Opus 4.5,整体落后前沿 4 至 7 个月,窄于 2025 年 1 至 9 月内部评估测得的 6 至 10 个月。

    推荐理由:这是 AISI 首次公开量化开源权重模型与闭源前沿在网络安全能力上的差距,并给出成本对比,为防御方的准备窗口提供依据。

7月14日周二
7月11日周六
  1. LMSYS Blog61

    DeepSeek-V4 Flash 强化学习训练登陆 AMD Instinct MI355X GPU,由 Miles 框架支持

    DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GPU 节点上完成端到端验证:超过 100 个优化器步骤中训练-rollout 对数概率差可控,在线奖励持续提升,离线 AIME-2024 基准分数同步上涨。

    推荐理由:把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。

6月19日周五
  1. OpenRouter:Announcements73

    DeepSeek V4 智能体 token 份额持续增长

    DeepSeek 于4月24日发布新一代旗舰模型 V4 系列。OpenRouter 数据显示,V4 发布后其 token 份额从年初的9%增长至6月初的18%,自5月中旬起成为 OpenRouter 最受欢迎模型。V4 是首个足以胜任智能体工作负载的 DeepSeek 模型,到5月底 V4-Flash 已占 DeepSeek 智能体 token 流量的70%。V4-Flash 最便宜端点价格为每百万 token 输入 $0.09、输出 $0.18,远低于 GPT-5.5 的 $5/$30。中国模型整体 token 份额于6月初超过美国模型,DeepSeek 是主要驱动力。

    推荐理由:OpenRouter 独家数据展示了代际转折:DeepSeek V4 靠性价比吃下代理负载,中国模型 token 份额首次超过美国,这个信号比任何 benchmark 排名都真实,做应用选型的人该重新算账了。

6月14日周日
6月2日周二
5月11日周一
  1. Together AI 研究与产品博客68

    Together AI 解析 DeepSeek-V4:百万 token 上下文为何是推理系统工程问题

    Together AI 发布文章解析 DeepSeek-V4 服务方案,认为其关键变化是架构层面将 1M token 上下文压缩问题转化为推理系统工程问题。

    推荐理由:Together 基于自家 B200 布署经验,把 DeepSeek-V4 百万 token 上下文拆解为缓存管理与调度策略问题,给出了可迁移的评测与调优思路。

4月29日周三
  1. Together AI 研究与产品博客73

    Together AI 上线 DeepSeek-V4 Pro,支持 512K 上下文

    Together AI 上线 DeepSeek-V4 Pro,Serverless 推理提供 512K token 上下文窗口,模型级支持 1M 上下文,可迁移至专用基础设施获得完整 1M 上下文与预留容量。

    推荐理由:原文给出架构、上下文窗口、推理模式和逐项定价,读者可据此评估该模型是否适合长上下文工作负载。

4月26日周日
  1. LMSYS Blog54

    SGLang与Miles在发布首日为DeepSeek-V4提供全栈支持

    SGLang团队宣布,在DeepSeek-V4发布首日即通过SGLang推理引擎和Miles训练框架为其提供全栈支持。该开源技术栈针对DeepSeek-V4的混合稀疏注意力、流形约束超连接和FP4专家权重等新架构特性进行了系统优化。在推理侧,推出了ShadowRadix前缀缓存、HiSparse分层内存加速、多令牌预测推测解码等关键技术。在强化学习训练侧,Miles支持包括DP/TP/SP/EP/PP/CP在内的全并行策略、TileLang注意力及FP8训练,显著提升了训练稳定性。该技术栈支持多种主流硬件平台。

3月25日周三
  1. LMSYS Blog

    Elastic EP:实现DeepSeek MoE部署的部分故障容忍

    Mooncake团队与Volcano Engine在SGLang框架中推出Elastic EP功能,解决大规模DeepSeek MoE模型"宽"专家并行部署的可靠性瓶颈。该技术通过解耦专家与GPU的刚性绑定并维护冗余副本,可在32 GPU集群中容忍最多16个rank故障,将服务恢复时间从2-3分钟缩短至10秒以内,降幅达90%。基准测试显示,该方案在实现极端韧性的同时,吞吐量、TTFT和TPOT等关键指标与标准DeepEP持平,实现零静态性能损耗。

2月19日周四
  1. LMSYS Blog

    GB300 NVL72部署DeepSeek R1优化方案:长上下文推理性能突破

    NVIDIA与SGLang团队发布DeepSeek R1-NVFP4在GB300 NVL72上的优化部署方案,针对128K/8K长上下文推理实现显著性能提升。通过PD分离、分块流水线并行、宽专家并行及多Token预测(MTP)等技术,系统在GB300上达226 TPS/GPU峰值吞吐量,较GB200提升1.53倍;相同延迟下性能领先1.4–1.6倍。MTP可再提升每用户TPS达1.87倍,128K预填充首Token延迟降至8.6秒。

2025年12月26日周五
2025年12月10日周三
  1. LMSYS Blog

    让张量飞起来 —— 用 R-Fork 加速大模型权重加载

    蚂蚁集团 DeepXPU 团队与 SGLang 团队联合发布 Tensor R-Fork(Tensor Remote Fork)技术,通过 GPU-Direct RDMA 实现节点间设备到设备的零拷贝权重传输。该技术可将 Deepseek-R1 模型的加载时间从数分钟缩短至数秒,减少约 600GB 的本地磁盘与 DRAM 存储占用,并提供 NCCL 和 TransferEngine 两种后端方案,后者可在不干扰线上推理服务的情况下完成权重迁移。

2025年12月1日周一
  1. DeepSeek:API 更新日志85

    DeepSeek-V3.2 及 DeepSeek-V3.2-Speciale 发布

    DeepSeek 将 deepseek-chat 和 deepseek-reasoner 均升级为 DeepSeek-V3.2,分别对应非思考模式与思考模式。同时非正式部署 DeepSeek-V3.2-Speciale 的 API 服务,价格不变,仅支持思考模式对话,不支持工具调用,最大输出长度默认 128K,服务截止至北京时间 2025-12-15 23:59。

    推荐理由:我觉得DeepSeek V3.2的亮点不是参数,而是思考模式正式接入主力API,意味着推理能力常态化,Speciale那个128K输出更像压力测试,做长文档的可以抓住窗口期探上限。

2025年10月27日周一
  1. LlamaIndex:产品、工程与评测70

    LlamaIndex 解读 DeepSeek-OCR:视觉压缩如何在文档 AI 中超越传统 OCR

    LlamaIndex 发文解读 DeepSeek-OCR,指出其核心不是 OCR,而是把视觉作为文本信息的压缩算法:可将 1,000 个文本 token 压缩到 100 个视觉 token 并以 97% 准确率解码,10× 压缩下准确率仍高于 90%。

    推荐理由:原文从文档解析实践角度拆解 DeepSeek-OCR 的压缩机制与局限,并给出压缩与解析两条演化路径的比较。

2025年10月22日周三
  1. LMSYS Blog

    SGLang集成KTransformers:基于AMX优化与专家延迟的MoE混合推理加速

    SGLang现已集成KTransformers后端,为DeepSeek-V3等稀疏MoE模型提供CPU/GPU混合推理加速。该技术采用Intel AMX优化内核,使单路Xeon算力达21.3 TFLOPS,较PyTorch原生实现快3.9倍;通过NUMA感知张量并行和CUDA Graph调度,双路服务器解码吞吐量提升63%,GPU内核启动开销从20%降至接近零;专家延迟机制支持跨层重排计算以重叠CPU与GPU执行,在精度变化低于0.5%的情况下使解码吞吐量再提高1.45倍。

2025年10月14日周二
  1. LMSYS Blog

    SGLang与NVIDIA携手加速SemiAnalysis InferenceMAX及GB200优化

    SGLang与NVIDIA针对Blackwell架构(GB200 NVL72)深度优化,在DeepSeek R1模型上实现每GPU 26k输入与13k输出tokens/秒的高吞吐。通过Prefill-Decode分离架构、大规模专家并行及FP8/NVFP4内核优化,SGLang在SemiAnalysis InferenceMAX基准测试中较Hopper代际获得4倍性能提升,并被选为该基准在NVIDIA与AMD硬件上运行DeepSeek模型的默认推理引擎。

2025年9月29日周一