# 猜想：低并发下模型量化精度损失更低更聪明

- 来源：karminski-牙医 (@karminski3)
- 发布时间：2026-09-17 07:02
- AIHOT 分数：19
- AIHOT 链接：https://aihot.news/items/cmu4qd877048urokc7chjyjyb
- 原文链接：https://x.com/karminski3/status/2100359621814939748

## AI 摘要

有观点提出一个玄学猜想：当模型并发为1、只有单个请求时，极端量化下走GEMV而非GEMM，累计精度损失更低，模型表现更聪明。该猜想由引用推文"闲时的AI会不会更聪明"引发，目前仅为个人推测，未提供任何实验数据或验证结果。

## 正文

我有个玄学猜想, 如果是模型特别闲的情况, 即并发开到1, 只有一个人请求. 那么在极端量化情况下, 走GEMV而不是GEMM, 累计精度损失低, 模型更聪明.

### 引用推文

> 关木：突然在想 闲时的 Ai 会不会更聪明一点？