Hao AI Lab· @haoailab · X·· 3 小时前AI 评分42
AI 导读
(3/6) 4-bit 量化，质量不打折。 NVFP4 QAD 以 BF16 Flex 为蒸馏目标，与它的差距比普通量化缩小 14-17%。 长片段受限于注意力计算，因此 FP4 注意力将 768p 15 秒的耗时从 101.8 秒降至 85.3 秒。
正文 · 原文
(3/6) 4-bit without the quality hit.
NVFP4 QAD distills against BF16 Flex and lands 14-17% closer to it than plain quantization.
Long clips are attention-bound, so FP4 attention cuts 768p 15 s from 101.8 s to 85.3 s.
来源：Hao AI Lab · x.com