公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)百度百舸联合 SGLang 举办 Meetup:推理基础设施如何支撑 Agent 规模化落地
AI 导读
百度智能云联合 SGLang 社区于 9 月 22 日举办“Agent 时代的推理基础设施”Meetup,围绕多芯适配、上下文缓存、KV Cache 优化、显存优化、MoE 专家压缩和推理服务治理展开生产级实践分享。
公众号:百度智能云(文心)
29
AI 编辑部评分,满分 100百度百舸联合 SGLang 举办 Meetup:推理基础设施如何支撑 Agent 规模化落地
百度智能云联合 SGLang 社区于 9 月 22 日举办“Agent 时代的推理基础设施”Meetup,围绕多芯适配、上下文缓存、KV Cache 优化、显存优化、MoE 专家压缩和推理服务治理展开生产级实践分享。
来源:公众号:百度智能云(文心)· mp.weixin.qq.com