karminski-牙医 · @karminski3 · X·2026-09-17 07:02·2小时前
AI 导读

有观点提出一个玄学猜想:当模型并发为1、只有单个请求时,极端量化下走GEMV而非GEMM,累计精度损失更低,模型表现更聪明。该猜想由引用推文"闲时的AI会不会更聪明"引发,目前仅为个人推测,未提供任何实验数据或验证结果。

karminski-牙医@karminski3
19AI 编辑部评分,满分 100
2026-09-17 07:02· 2小时前
AI 导读

有观点提出一个玄学猜想:当模型并发为1、只有单个请求时,极端量化下走GEMV而非GEMM,累计精度损失更低,模型表现更聪明。该猜想由引用推文"闲时的AI会不会更聪明"引发,目前仅为个人推测,未提供任何实验数据或验证结果。

我有个玄学猜想, 如果是模型特别闲的情况, 即并发开到1, 只有一个人请求. 那么在极端量化情况下, 走GEMV而不是GEMM, 累计精度损失低, 模型更聪明.

关木突然在想 闲时的 Ai 会不会更聪明一点?

来源:karminski-牙医· x.com