NVIDIA与普林斯顿发布ReplaySSM优化混合模型解码

NVIDIA 与普林斯顿 Dao AI Lab 发布 ReplaySSM，将 SSM 状态表示为检查点加近期输入缓冲，而非直接缓存状态。据其论文，这一做法可减少状态内存流量、简化投机解码回滚，并限制量化误差累积。论文《ReplaySSM: Cache SSM Inputs, Not State》已在 arXiv 发布，代码在 GitHub 开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。