NVIDIA Dynamo 用会话级 ID 改造智能体推理

NVIDIA Dynamo 团队发布技术博客，介绍用统一的会话级标识符 session_id 把原本按请求处理的推理服务改造成能识别程序的系统，实现会话感知路由、共享 KV 缓存索引和程序化缓存迁移，并兼容 vLLM 与 SGLang。 据该博客，这套机制面向智能体推理场景：同一会话的请求可被路由到同一处、复用 KV 缓存，并在需要时迁移缓存，从而减少重复计算。上述效果为博客中的技术说明，尚未给出第三方验证数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。