Amazon与Booking用蒸馏加Medusa压缩旅行LLM
热点事件持续更新
Amazon与Booking用蒸馏加Medusa压缩旅行LLM
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Amazon与Booking.com将知识蒸馏与Medusa解码框架结合，把70B的Llama-3.1教师模型能力迁移到1.1B的TinyLlama学生模型，用于旅行场景。Amazon Science称，该方案在保持最佳开源LLM质量的同时，成本降至不到三分之一，速度最高提升20倍。 这一做法针对的是大模型在旅行应用中推理成本高、响应慢的问题：蒸馏负责把大模型能力压到小模型，Medusa则通过多token并行解码提速。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 00:51
Amazon 与 Booking.com 用知识蒸馏加 Medusa 加速旅行 LLM报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- Amazon ScienceAmazon 与 Booking.com 用知识蒸馏加 Medusa 加速旅行 LLM
Amazon 与 Booking.com 将知识蒸馏与 Medusa 结合，把 70B 的 Llama-3.1 教师模型能力迁移到 1.1B 的 TinyLlama 学生模型，在保持最佳开源 LLM 质量的同时成本降至不到三分之一、速度最高提升 20 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。