👍 快搞成混合注意力, 社区会嗷嗷叫的
@karminski3 8Bit 量化做了：https://huggingface.co/IFM/K2-Horizon-7B-FP8。4Bit在赶工。 我们还有显存拯救计划正在进行中。
karminski-牙医@karminski327
AI 编辑部评分，满分 100来源：karminski-牙医· x.com
karminski-牙医@karminski3karminski-牙医@karminski3karminski-牙医@karminski3👍 快搞成混合注意力, 社区会嗷嗷叫的
来源：karminski-牙医· x.com