Google发布vLLM与SGLang的TPU原生PyTorch后端
热点事件观察中
Google发布vLLM与SGLang的TPU原生PyTorch后端
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Google 发布 vLLM 和 SGLang 的 TPU 原生 PyTorch 后端（TorchTPU），分别与 Inferact、RadixArk 合作开发，让开发者用 PyTorch 工具在 TPU 上部署模型。Google 称，两个引擎已在预览客户的生产环境中规模化运行。 vLLM 同时启动一个社区贡献 TPU 算力池，向积极为这两个引擎贡献代码的开发者提供免费 TPU 算力；该免费额度仅面向贡献者，并非所有使用都免费。
AI 根据报道生成 · 57 分钟前更新
最新进展10月20日 00:00
Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- Google Developers Blog精选Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎
Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发，让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。