亚马逊联合 Booking.com 用知识蒸馏与 Medusa 加速旅行场景 LLM
亚马逊科学与 Booking.com 合作,将知识蒸馏与 Medusa 框架结合,把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型,质量接近教师模型而成本不到三分之一、速度最高提升 20 倍。
亚马逊科学与 Booking.com 合作,将知识蒸馏与 Medusa 框架结合,把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型,质量接近教师模型而成本不到三分之一、速度最高提升 20 倍。
作者在 38 天里让一组 AI 编码智能体围绕真实产品待办跑了 324 个两小时冲刺,其中专职 scrum 团队智能体执行的 90 个冲刺里,79% 的承诺故事在冲刺内完成,仪式耗时不到 5 分钟。
Meta 发布下一代个性化广告检索系统 Meta Andromeda,单张 GH200 GPU 推理吞吐超过每秒 100 亿条广告,相比 2024 版提升 100 倍。新架构将 LLM 式 MoE 引入检索阶段,推理 FLOPs 比 2024 版检索模型少约 300 倍,性能接近排序阶段水平。自 2025 年以来,该系统已在 Facebook 带来 2.4% 的转化率提升。
Heal 发布针对 AI PR 审查的基准,回放 5 个产品共 236 个 PR,发现 Heal 在运行时证明的 202 个用户可见缺陷中有 141 个(70%)未被任何代码审查机器人发现。
Dharma-AI 预告即将发布的 VocabX 论文,提出按 token 成本而非频率特化小模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上把平均响应从 350 个 token 降到 101 个,实测推理成本下降 77.0%,bench 分数从 0.703 升到 0.810。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序,在 15 个基准程序上平均比现有最快的同类 zkVM 快 10 到 39 倍,证明验证约需 12 毫秒。
微软研究院开发了一套端到端机器学习流水线,利用L1太阳风观测与AE、Dst指数预报,结合纬度、地质电导率等数据,为美国本土66,935座变电站生成提前30-60分钟的位置级空间天气风险估计。
Berkeley Sky Lab 与 IBM Research 将 K-Search 内核搜索框架扩展到 MLX 后端,通过结构化的 CUDA-to-MLX 翻译层把已有 CUDA 内核作为知识库,在 Apple Silicon 上生成高质量内核。
推荐理由:读者可以看到 CUDA 内核经验如何被结构化翻译成 MLX 优化策略,以及翻译层对性能提升的具体贡献。