亚马逊联合 Booking.com 用知识蒸馏与 Medusa 加速旅行场景 LLM

亚马逊科学与 Booking.com 合作，将知识蒸馏与 Medusa 框架结合，把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型，质量接近教师模型而成本不到三分之一、速度最高提升 20 倍。