SGLang 是一个开源推理框架，专为生产规模下的高吞吐量和低延迟而构建。它拥有超过 30,000 个 GitHub star 和 1,700 多名贡献者，在全球数十万块 GPU 上运行，每天在生产环境中生成数万亿个 token。RadixArk 是 SGLang 项目的维护方。

目前，开发者可以通过 SGL-JAX 在最新的 TPU 代际上运行 SGLang，支持主要的大语言模型和多模态模型系列，包括 Gemma、Qwen、DeepSeek、GLM、Mimo、Kimi、Ling、MiniMax 和 Grok，以及用于视频和图像生成的扩散模型，包括 Wan 和 Flux。今年晚些时候，RadixArk 将推出 SGL-torchtpu，作为额外的 PyTorch 原生 TPU 后端，具备 eager execution、PyTorch 生态兼容性和 MPMD 支持。它将让业界任何 AI 研究人员或工程师都能使用标准 PyTorch 工具，在 Google 的 TPU 上通过 SGLang 运行 LLM，并享有高性能、可扩展性和最先进的特性。这些特性包括在多主机 TPU 上以完整规模运行领先的开源模型，质量与已发布的基线相匹配，以及并行策略（数据、张量、专家、上下文和流水线）、Radix Cache、HiCache、量化和投机解码——由 RadixArk、Google 和 SGLang 社区构建的 TPU Pallas kernel 提供支持。

展望未来，SGLang 将让新的开源模型在 GPU 上运行的当天就能在 TPU 上运行，这种 Day 0 支持将扩展到每一个新的 TPU 代际。

这些使 TPU 成为通往前沿推理的即插即用、高性价比路径。团队可以运行与在 GPU 上相同的 SGLang API 和特性，并根据工作负载需求和性价比自由选择硬件。

“RadixArk 的使命是让前沿 AI 基础设施对每一位构建者开放且可及。SGLang 正是这一使命的体现，我们很高兴能与 Google Cloud 合作，将其性能与灵活性带入 TPU 生态，”RadixArk 首席执行官 Ying Sheng 表示。

“要真正加速前沿 AI 创新，开发者必须能够自由选择和使用性能更优、可靠性更高、可扩展性更强、成本更低的 AI 训练与服务平台，”Google 核心 ML/AI 工程副总裁 Bill Jia 表示。“我们与 RadixArk 的合作是兑现我们可编程异构性愿景的关键一步，在这一愿景中，软件充当开放的桥梁，而非锁定机制。通过将 SGLang 的高吞吐服务框架引入 Google TPU，我们有效地为开发者消除了‘迁移税’，使他们能够使用完全相同的 SGLang 推理 API，在自选的硬件（如 GPU、TPU）和 AI 框架（如 PyTorch、JAX）上无缝运行生产工作负载。”

SGL-JAX 由 RadixArk 与 SGLang 社区联合打造，现已发布于 github.com/sgl-project/sglang-jax。

SGL 家族始终欢迎新的贡献者，共同打造一个开放、高性能的服务引擎！