Baseten 解析高质量 NVFP4 量化方法

Baseten 工程博客发文，解析如何实现高质量的 NVFP4 4-bit 量化，提出启发式规则、孤立层敏感度评分和 SaturationQuant 三种方案。 NVFP4 的机制是每 16 个值共享一个 block scale：权重可直接计算 scale，激活值则需借助校准数据集统计分布来确定。 三种方案分别针对量化中的不同环节，但报道未给出各方案的具体效果数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。