Artificial Analysis 发布 HealthBench 与 HealthBench Professional 模型健康对话排行榜
Artificial Analysis 上线 HealthBench 和 HealthBench Professional 排行榜,两个基准来自 OpenAI,用医生编写的评分标准评估模型在真实健康对话中的表现。
Artificial Analysis 上线 HealthBench 和 HealthBench Professional 排行榜,两个基准来自 OpenAI,用医生编写的评分标准评估模型在真实健康对话中的表现。
SGLang 团队推出 Low-Latency Mode,通过插件框架引入专用内核,在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。
推荐理由:原文给出 SGLang 低延迟模式的具体内核优化路径和 NVIDIA、AMD 两套实测数字,可帮助读者评估低并发推理场景的收益。
DeepSeek 将 V4.1 Flash 升级至 DeepSeek-V4.1-Flash-1017,网页端与 APP 同步更新,API 调用方式与价格不变,仍用 deepseek-flash 访问。
推荐理由:原文列出各基准分数并说明 API 调用与价格不变,读者可直接评估新版模型是否值得切换。
DeepSeek 开放自研搜索 API,底层由 AI 原生的 DeepSeek 搜索引擎提供,每天稳定处理数亿次搜索请求。该引擎索引全球千亿级网页、支持多语言,并通过识别机制过滤 SEO 作弊、GEO 操纵和低质 AIGC,使用方式见网页搜索与抓取指南。
推荐理由:原文给出开放入口、索引规模与过滤机制,接入 RAG 或智能体的开发者可据此评估是否纳入现有工作流。
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative,为欧洲研究界提供加速工具、算力与培训支持。
Artificial Analysis 独立运行 Cognition 的 FrontierCode 1.1 Main 编程评测,用统一的 Stirrup agent harness 测试 100 个真实开源仓库任务。
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。
推荐理由:vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。
Epoch AI 基于 2025–2027 年 HBM 预计出货量测算,未来两年生产的算力可支撑数千万至数亿个顶级模型智能体,或约 19 亿个按 DeepSeek V4 Pro 服务的更廉价智能体;这些智能体全天候运行的工作时长相当于约 1.4 亿至 7 亿名全职员工。
Ai2 开源 AstaBrief 8B,一个基于 Qwen3-8B、将研究问题和检索文献片段转化为带引用报告的科学报告生成模型,现已在 Asta 的 Generate a report 功能中作为 Fast mode 上线,并连同训练数据开放下载。
推荐理由:原文给出训练数据构成、过滤方法与速度成本对比,读者可据此判断开源科学报告模型的具体做法是否可迁移。
字节 Seed 团队发表论文,发现使用分块 KV 缓存压缩的模型存在相位敏感性:检索精度随信息相对压缩窗口边界的位置周期性波动。在 DeepSeek-V4 系列上,128K 上下文的 NIAH 检索精度跨相位差异最高达 40.2 个百分点,预填充长度变化会让代码补全预测每 4 个 token 周期性翻转,与其压缩步长一致。
Fireworks 发布 DeepSeek-V4.1-Flash,在 DeepSWE 上取得 74.34% pass@1、每任务 $0.43,与 GPT-6 Astra 同一精度区间但成本仅 1/15。
推荐理由:官方以多基准实测给出 DeepSeek-V4.1-Flash 与闭源模型的成本质量对比和架构细节,可帮助开发者做选型与成本权衡。
DeepSeek 本周在 HuggingFace 开源 DeepSeek-V4.1-Flash 权重,模型总参数 552B,prefill 激活 8B、decode 激活 16B,支持 1M token 上下文和文本加图像输入,已上线 Baseten Model APIs。
推荐理由:文章解释了 CED 架构如何把 prefill 降到 8B 激活参数并压缩 KV cache,读者能理解它为何更适配编码智能体的高 prefill 负载。
DeepSeek 发布 DeepSeek-V4.1-Flash,是全新模型结构系列中最小尺寸的模型,具备原生多模态视觉理解能力,评测包括 GPQA Diamond 90.9、HLE 36.8、Codeforces Rating 3471、Terminal-Bench 2.1 90.6 等。
推荐理由:官方发布附带完整评测数字和 API 切换细节,读者可据此判断新模型能力水平及旧模型下线对现有调用和计费的影响。
SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家。
推荐理由:原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。
Fireworks 上线 DeepSeek V4 Pro 0813,提供 serverless、专属部署及 SFT/DPO/RFT 训练支持,模型具备 1M token 上下文窗口和原生工具调用。
推荐理由:原文用四组基准和逐任务成本数据对比 V4 Pro 与 Fable 5、Kimi K3,并指出 Java 弱项与路由空间,读者可据此选型。
DeepSeek 上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,可通过设置 model='deepseek-v4-flash-vision-exp' 在 API 平台访问。
推荐理由:实验版在纯文本能力与正式版持平的基础上补齐视觉,多模态 Agent 基准接近 Opus-4.8,让依赖视觉的 DeepSeek 工作流无需切换后端即可评估更强感知能力。
LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro,在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s,与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。
推荐理由:文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。
Together AI 在 DeepSWE 全部 113 个任务上各跑四次对比 DeepSeek V4 Pro 0813 与 GPT-5.6 Sol,共 904 次运行。
推荐理由:原文基于同一批 904 次运行数据拆解两模型的成本与失败模式,并给出可复用的级联路由方案,比单独跑分更有参考价值。
Together AI 在 DeepSWE 全部 113 个任务、每任务 4 次试验(共 904 次 rollout)上对比 DeepSeek V4 Pro 0813 与 Claude Fable 5。
推荐理由:原文基于同一批 904 次 rollout 的实测数据,给出两模型在 DeepSWE 上的成本与互补性对比,以及可复用的级联路由结果。
DeepSeek-V4-Pro 正式版已在 APP、网页端和 API 同步上线,模型名设为 deepseek-v4-pro 即可使用。其 Agent 能力显著提升,HLE (wo/w tools) 达 42.7/60.0,Terminal Bench 2.1 为 87.9。
推荐理由:峰谷定价把闲时成本降至高峰一半,适合批量推理、评估任务等可延迟工作负载调整执行时间,为降低 API 支出提供空间。
Together AI 在 113 个 DeepSWE 任务上对比 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna:Luna pass@1 为 67.2%,DeepSeek 为 53.3%,但 DeepSeek 每次 rollout 成本约 $0.10,仅为 Luna($0.61)的约六分之一。
推荐理由:原文基于同一轮 900 次 rollout 实测给出两款模型的成本、失败模式与分域表现,并提出可复用的低成本级联方案。
DeepSeek-V4-Flash 正式版 API 上线公测,模型名设为 deepseek-v4-flash 即可使用,调用方式不变。其 Agent 能力大幅增强,Terminal Bench 2.1 得分 82.7,NL2Repo 54.2,Toolathlon verified 70.3,DSBench-Hard 59.6,多项基准远超 V4-Pro-Preview。
推荐理由:DeepSeek V4-Flash 正式版 Agent 能力大幅跃升,多个编码 agent 基准分数翻倍,对做代码助手的团队是个高性价比的生产力入口。虽然是 Flash 版,但后训练打磨的成果让人更期待 Pro 正式版。
英国 AI Security Institute 首次公开分析领先开源权重模型的网络安全能力差距,测试发现 GLM-5.2 是测试时最强的开源权重模型,在 AISI 窄域网络任务上接近 4 个月前发布的 Opus 4.6,在长时程网络靶场上接近 Opus 4.5,整体落后前沿 4 至 7 个月,窄于 2025 年 1 至 9 月内部评估测得的 6 至 10 个月。
推荐理由:这是 AISI 首次公开量化开源权重模型与闭源前沿在网络安全能力上的差距,并给出成本对比,为防御方的准备窗口提供依据。
DeepSeek 由 16 家供应商提供服务,价格差异约 4 倍,吞吐量从 4 到 57 tokens/秒不等。通过 OpenRouter 统一路由可自动选择最优供应商,避免用户逐一对比价格与速度。当对延迟或成本有特定要求时,直接调用特定供应商可能更合适。
DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GPU 节点上完成端到端验证:超过 100 个优化器步骤中训练-rollout 对数概率差可控,在线奖励持续提升,离线 AIME-2024 基准分数同步上涨。
推荐理由:把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
DeepSeek 于4月24日发布新一代旗舰模型 V4 系列。OpenRouter 数据显示,V4 发布后其 token 份额从年初的9%增长至6月初的18%,自5月中旬起成为 OpenRouter 最受欢迎模型。V4 是首个足以胜任智能体工作负载的 DeepSeek 模型,到5月底 V4-Flash 已占 DeepSeek 智能体 token 流量的70%。V4-Flash 最便宜端点价格为每百万 token 输入 $0.09、输出 $0.18,远低于 GPT-5.5 的 $5/$30。中国模型整体 token 份额于6月初超过美国模型,DeepSeek 是主要驱动力。
推荐理由:OpenRouter 独家数据展示了代际转折:DeepSeek V4 靠性价比吃下代理负载,中国模型 token 份额首次超过美国,这个信号比任何 benchmark 排名都真实,做应用选型的人该重新算账了。
通过OpenRouter融合的一组预算模型,在100个复杂研究任务上得分超过GPT-5.5和Claude Opus 4.8。
推荐理由:OpenRouter 的 Fusion API 用多个模型合成输出,基准测试里预算模型组合能接近前沿,这个思路对有质量要求又在意成本的开发者挺实用。
Microsoft 在 Build 2026 主题演讲中宣布七款 MAI 新模型,覆盖图像、语音、转录、推理和编码。
推荐理由:官方主题演讲完整给出七个新模型的规格、跑分与部署渠道,还涉及 Maia 200 芯片协同设计和 RLE 训练路线。
Together AI 发布文章解析 DeepSeek-V4 服务方案,认为其关键变化是架构层面将 1M token 上下文压缩问题转化为推理系统工程问题。
推荐理由:Together 基于自家 B200 布署经验,把 DeepSeek-V4 百万 token 上下文拆解为缓存管理与调度策略问题,给出了可迁移的评测与调优思路。
Together AI 上线 DeepSeek-V4 Pro,Serverless 推理提供 512K token 上下文窗口,模型级支持 1M 上下文,可迁移至专用基础设施获得完整 1M 上下文与预留容量。
推荐理由:原文给出架构、上下文窗口、推理模式和逐项定价,读者可据此评估该模型是否适合长上下文工作负载。
SGLang团队宣布,在DeepSeek-V4发布首日即通过SGLang推理引擎和Miles训练框架为其提供全栈支持。该开源技术栈针对DeepSeek-V4的混合稀疏注意力、流形约束超连接和FP4专家权重等新架构特性进行了系统优化。在推理侧,推出了ShadowRadix前缀缓存、HiSparse分层内存加速、多令牌预测推测解码等关键技术。在强化学习训练侧,Miles支持包括DP/TP/SP/EP/PP/CP在内的全并行策略、TileLang注意力及FP8训练,显著提升了训练稳定性。该技术栈支持多种主流硬件平台。
Mooncake团队与Volcano Engine在SGLang框架中推出Elastic EP功能,解决大规模DeepSeek MoE模型"宽"专家并行部署的可靠性瓶颈。该技术通过解耦专家与GPU的刚性绑定并维护冗余副本,可在32 GPU集群中容忍最多16个rank故障,将服务恢复时间从2-3分钟缩短至10秒以内,降幅达90%。基准测试显示,该方案在实现极端韧性的同时,吞吐量、TTFT和TPOT等关键指标与标准DeepEP持平,实现零静态性能损耗。
NVIDIA与SGLang团队发布DeepSeek R1-NVFP4在GB300 NVL72上的优化部署方案,针对128K/8K长上下文推理实现显著性能提升。通过PD分离、分块流水线并行、宽专家并行及多Token预测(MTP)等技术,系统在GB300上达226 TPS/GPU峰值吞吐量,较GB200提升1.53倍;相同延迟下性能领先1.4–1.6倍。MTP可再提升每用户TPS达1.87倍,128K预填充首Token延迟降至8.6秒。
Manus 博客盘点了 2026 年 7 款最佳 ChatGPT 替代方案:Claude AI、Google Gemini、Perplexity AI、Microsoft Copilot、DeepSeek、Grok 和 Manus AI。
蚂蚁集团 DeepXPU 团队与 SGLang 团队联合发布 Tensor R-Fork(Tensor Remote Fork)技术,通过 GPU-Direct RDMA 实现节点间设备到设备的零拷贝权重传输。该技术可将 Deepseek-R1 模型的加载时间从数分钟缩短至数秒,减少约 600GB 的本地磁盘与 DRAM 存储占用,并提供 NCCL 和 TransferEngine 两种后端方案,后者可在不干扰线上推理服务的情况下完成权重迁移。
DeepSeek 将 deepseek-chat 和 deepseek-reasoner 均升级为 DeepSeek-V3.2,分别对应非思考模式与思考模式。同时非正式部署 DeepSeek-V3.2-Speciale 的 API 服务,价格不变,仅支持思考模式对话,不支持工具调用,最大输出长度默认 128K,服务截止至北京时间 2025-12-15 23:59。
推荐理由:我觉得DeepSeek V3.2的亮点不是参数,而是思考模式正式接入主力API,意味着推理能力常态化,Speciale那个128K输出更像压力测试,做长文档的可以抓住窗口期探上限。
LlamaIndex 发文解读 DeepSeek-OCR,指出其核心不是 OCR,而是把视觉作为文本信息的压缩算法:可将 1,000 个文本 token 压缩到 100 个视觉 token 并以 97% 准确率解码,10× 压缩下准确率仍高于 90%。
推荐理由:原文从文档解析实践角度拆解 DeepSeek-OCR 的压缩机制与局限,并给出压缩与解析两条演化路径的比较。
SGLang现已集成KTransformers后端,为DeepSeek-V3等稀疏MoE模型提供CPU/GPU混合推理加速。该技术采用Intel AMX优化内核,使单路Xeon算力达21.3 TFLOPS,较PyTorch原生实现快3.9倍;通过NUMA感知张量并行和CUDA Graph调度,双路服务器解码吞吐量提升63%,GPU内核启动开销从20%降至接近零;专家延迟机制支持跨层重排计算以重叠CPU与GPU执行,在精度变化低于0.5%的情况下使解码吞吐量再提高1.45倍。
SGLang与NVIDIA针对Blackwell架构(GB200 NVL72)深度优化,在DeepSeek R1模型上实现每GPU 26k输入与13k输出tokens/秒的高吞吐。通过Prefill-Decode分离架构、大规模专家并行及FP8/NVFP4内核优化,SGLang在SemiAnalysis InferenceMAX基准测试中较Hopper代际获得4倍性能提升,并被选为该基准在NVIDIA与AMD硬件上运行DeepSeek模型的默认推理引擎。
DeepSeek 将 deepseek-chat 和 deepseek-reasoner 均升级为 DeepSeek-V3.2-Exp。其中 deepseek-chat 对应非思考模式,deepseek-reasoner 对应思考模式,详细更新内容见官方文档。