公众号:小红书技术· 小红书技术REDtech·· 2026-07-10AI 评分57
小红书发布大模型新架构 PIPO:输入压缩减半、输出双 token 加速推理
小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
AI 导读
小红书大模型基建团队提出新架构 PIPO(Pair-In, Pair-Out),通过压缩器将两个输入 token 折叠为一个 latent、MTP head 每步展开为两个输出 token,实现输入长度减半、单步输出翻倍。
来源:公众号:小红书技术 · mp.weixin.qq.com