热点事件持续更新
MiniCPM5-2B 社区 EXL3 4-bit 量化版发布
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
面壁智能 OpenBMB 的 MiniCPM5-2B 此前已有社区量化版本发布,本次为社区进一步构建的 EXL3 4-bit 量化版本。据 2026-09-28 报道,该版本采用 4.0 bpw EXL3 量化,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s,并支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。目前该量化版本已发布,面向本地部署场景提供更小体积与可用的推理速度。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
9月28日
- X:面壁智能 OpenBMB (@OpenBMB)MiniCPM5-2B 社区 EXL3 4-bit 量化版发布
社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。