跳到正文
  1. vLLM 官方博客63

    vLLM 详解 DeepSeek-V4.1-Flash 优化:Agent 场景吞吐提升 5 倍

    Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。

    推荐理由:vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。

  1. 公众号:卡尔的AI沃茨76

    实测 DeepSeek V4.1 Flash:价格大降、原生带视觉,作者用游戏与城市生成任务验证表现

    作者实测 DeepSeek V4.1 Flash,缓存命中输入降价 7 倍多、输出砍三分之二,9 月 14 日中午 12 点起所有发往 v4-pro 的请求将被强制路由到 4.1 Flash 并按其低价计费。

    推荐理由:作者实测 DeepSeek V4.1 Flash 的价格、架构参数和多个生成任务,并给出与 GLM 5.3 Flash 的对比结果和暴露的缺陷。

  1. LMSYS Blog66

    SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3

    SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家。

    推荐理由:原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

  1. 公众号:数字生命卡兹克69

    从0到1速通DeepSeek Harness:一切皆插件的Agent基建

    DeepSeek发布Agent产品DeepSeek Harness,核心理念“一切皆插件”,基于名为Cordis的内核,支持在Agent运行中随时更换插件并保持状态不崩,官方预设100多个一方插件。产品提供标准、PTC、极简、创造四种模式,其中创造模式可让Agent现场创造并挂载新插件实现自改造。目前为开发者预览版,GitHub已获3.7万Star。

    推荐理由:文章把Harness定位为插件化基建而非单一Agent,Cordis内核的时间与空间可组合性解释了Agent如何在运行中插拔能力,这比模板本身更值得理解。

  1. Together AI 研究与产品博客80

    Together AI 实测 DeepSWE:DeepSeek-V4 Flash 0731 对比 GPT-5.6 Luna 的成本与编码表现

    Together AI 在 113 个 DeepSWE 任务上对比 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna:Luna pass@1 为 67.2%,DeepSeek 为 53.3%,但 DeepSeek 每次 rollout 成本约 $0.10,仅为 Luna($0.61)的约六分之一。

    推荐理由:原文基于同一轮 900 次 rollout 实测给出两款模型的成本、失败模式与分域表现,并提出可复用的低成本级联方案。

  1. Together AI 研究与产品博客68

    Together AI 解析 DeepSeek-V4:百万 token 上下文为何是推理系统工程问题

    Together AI 发布文章解析 DeepSeek-V4 服务方案,认为其关键变化是架构层面将 1M token 上下文压缩问题转化为推理系统工程问题。

    推荐理由:Together 基于自家 B200 布署经验,把 DeepSeek-V4 百万 token 上下文拆解为缓存管理与调度策略问题,给出了可迁移的评测与调优思路。

已经到底了