跳到正文
热点事件持续更新

MiniCPM5-2B 社区 EXL3 4-bit 量化版发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

面壁智能 OpenBMB 的 MiniCPM5-2B 此前已有社区量化版本发布,本次为社区进一步构建的 EXL3 4-bit 量化版本。据 2026-09-28 报道,该版本采用 4.0 bpw EXL3 量化,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s,并支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。目前该量化版本已发布,面向本地部署场景提供更小体积与可用的推理速度。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

9月28日
  1. X:面壁智能 OpenBMB (@OpenBMB)
    MiniCPM5-2B 社区 EXL3 4-bit 量化版发布

    社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。