热点事件 历史事件

SiliconBench agent split 在 Qwen3.6-35B-A3B 上比较 llama.cpp、vllm-metal、oMLX 与 mlx_lm

1 篇报道1 个报道来源

先了解这件事

报道摘要

vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。

摘自 vLLM 官方博客
最新进展

历史报道归档。当前热点以新版榜单为准。

报道时间线

沿着报道，了解事件的不同侧面。

  1. vLLM 官方博客官方一手精选
    vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务

    vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。