我有个玄学猜想, 如果是模型特别闲的情况, 即并发开到1, 只有一个人请求. 那么在极端量化情况下, 走GEMV而不是GEMM, 累计精度损失低, 模型更聪明.
突然在想 闲时的 Ai 会不会更聪明一点?
有观点提出一个玄学猜想:当模型并发为1、只有单个请求时,极端量化下走GEMV而非GEMM,累计精度损失更低,模型表现更聪明。该猜想由引用推文"闲时的AI会不会更聪明"引发,目前仅为个人推测,未提供任何实验数据或验证结果。
有观点提出一个玄学猜想:当模型并发为1、只有单个请求时,极端量化下走GEMV而非GEMM,累计精度损失更低,模型表现更聪明。该猜想由引用推文"闲时的AI会不会更聪明"引发,目前仅为个人推测,未提供任何实验数据或验证结果。
我有个玄学猜想, 如果是模型特别闲的情况, 即并发开到1, 只有一个人请求. 那么在极端量化情况下, 走GEMV而不是GEMM, 累计精度损失低, 模型更聪明.
来源:karminski-牙医· x.com