Introducing the next evolution in LLM text generation: the first fully-fledged serving system built around a decode megakernel.
Delivering up to 1.58x faster performance than vLLM. Built for North Mini Code, completely open-source.
AI 导读
Cohere 发布首个围绕 decode megakernel 构建的完整 LLM 文本生成服务系统，性能最高比 vLLM 快 1.58x。该系统为 North Mini Code 打造，完全开源。
Cohere@cohere50
AI 编辑部评分，满分 100Cohere 发布首个围绕 decode megakernel 构建的完整 LLM 文本生成服务系统，性能最高比 vLLM 快 1.58x。该系统为 North Mini Code 打造，完全开源。
来源：Cohere· x.com