热点事件 历史事件

Modal 实验表明微调 DFlash 推测解码器可提升 Kimi K2.6 推理接受长度

1 篇报道1 个报道来源

先了解这件事

报道摘要

Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践,优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x,单个服务日处理数千亿 token。

摘自 Modal 官方工程博客
最新进展

历史报道归档。当前热点以新版榜单为准。

报道时间线

沿着报道,了解事件的不同侧面。

显示 1全部报道最新在前
  1. Modal 官方工程博客官方一手精选
    Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

    Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践,优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x,单个服务日处理数千亿 token。