公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)腾讯混元开源 AngelSpec:投机解码推理加速最高 2.4 倍
AI 导读
腾讯混元开源覆盖训练到部署的投机解码框架 AngelSpec,并放出 Hy3-A21B 的 MTP 与 DFly drafter 权重及训练代码。
公众号:腾讯混元
精选
72
AI 编辑部评分,满分 100腾讯混元开源 AngelSpec:投机解码推理加速最高 2.4 倍
腾讯混元开源覆盖训练到部署的投机解码框架 AngelSpec,并放出 Hy3-A21B 的 MTP 与 DFly drafter 权重及训练代码。
推荐理由
AngelSpec 将投机解码从训练到部署全链路开源,DFly 和 D-cut 在真实流量下带来额外加速,对需要优化推理成本的团队有直接落地价值。
来源:公众号:腾讯混元· mp.weixin.qq.com