Baseten 发布决策模型 joey-1,单次决策成本约一美分
Baseten 旗下 Base Labs 发布决策模型 joey-1,直接输出标签和校准后的置信度分数,而非生成文本。joey-1 基于 Qwen3.5-2B 后训练,处理平均 2000 token 请求的 P50 端到端延迟为 20 ms,约为 elephant-1(49 ms)的 2.5 倍速度,价格为每百万 token 0.01 美元,是 mammoth-1 的十分之一。
Baseten 旗下 Base Labs 发布决策模型 joey-1,直接输出标签和校准后的置信度分数,而非生成文本。joey-1 基于 Qwen3.5-2B 后训练,处理平均 2000 token 请求的 P50 端到端延迟为 20 ms,约为 elephant-1(49 ms)的 2.5 倍速度,价格为每百万 token 0.01 美元,是 mammoth-1 的十分之一。
亚马逊科学与 Booking.com 合作,将知识蒸馏与 Medusa 框架结合,把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型,质量接近教师模型而成本不到三分之一、速度最高提升 20 倍。
Mistral 发布多模态 MoE 模型 Mistral Large 4(Le Chonk),约 1T 总参数、49B 激活参数,上下文窗口 1M tokens,采用 FP8 与 NVFP4 两种官方权重,并以 Mistral Ecosystem Open-Weight License 分发。
推荐理由:原文给出 1T 总参数、49B 激活、1M 上下文的完整架构与基准数据,可据此判断开源权重模型在网络安全与编码智能体上的位置。
vLLM 宣布在 Mistral Large 4 发布当天提供支持,该模型为 1 万亿参数、每 token 激活 49B 的 MoE 原生多模态模型,提供 FP8 与 NVFP4 两种 checkpoint。
推荐理由:原文给出 Mistral Large 4 在 vLLM 上的完整部署参数与多项优化前后对比数据,可作为长上下文推理配置的参考。
Mistral AI 发布旗舰多模态模型 Mistral Large 4(Le Chonk)的开放权重,参数量达 1 万亿,在 FrontierCode 2.0 上以 19.7% 领先,Terminal-Bench 4.0 提升 13 个百分点至 41%。
推荐理由:原文给出开放权重、三档推理模式和多项编码与安全基准,可据此判断自托管部署的成本与能力边界。
Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分登顶,在 9 项评测中的 4 项排名第一,包括 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience 和 AutomationBench-AA。
推荐理由:Artificial Analysis 的独立评测显示 Gemini 4 Carbon 登顶 Intelligence Index v5,但在编码智能体上仍落后 Claude Opus 5.5。
Meta 发布下一代个性化广告检索系统 Meta Andromeda,单张 GH200 GPU 推理吞吐超过每秒 100 亿条广告,相比 2024 版提升 100 倍。新架构将 LLM 式 MoE 引入检索阶段,推理 FLOPs 比 2024 版检索模型少约 300 倍,性能接近排序阶段水平。自 2025 年以来,该系统已在 Facebook 带来 2.4% 的转化率提升。
Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。
推荐理由:原文给出 v5 的基准构成、权重与各模型得分,可据此比较前沿模型在编码、科研与知识任务上的差距。
NVIDIA DGX Spark 上对 Inclusion AI 的 Ling-3.0-flash 做 batch-size-1 评测时,性能分析显示解码受内存带宽限制,读取模型权重主导了执行时间。其中 MoE 计算与输出层投影两个操作尤为突出。
Dharma-AI 预告即将发布的 VocabX 论文,提出按 token 成本而非频率特化小模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上把平均响应从 350 个 token 降到 101 个,实测推理成本下降 77.0%,bench 分数从 0.703 升到 0.810。
Hugging Face 博客发布 TorchNeuron 性能剖析系列第一篇,讲解如何在 AWS Trainium 上用 torch.profiler 系统分析推理性能。文中以 RMSNorm 为例对比三种实现,演示通过 key_averages() 表定位消耗 Neuron 设备时间的算子,并用 Neuron Explorer 追踪从框架调度到 NeuronCore 硬件执行的完整链路。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序,在 15 个基准程序上平均比现有最快的同类 zkVM 快 10 到 39 倍,证明验证约需 12 毫秒。
Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。
推荐理由:官方给出 Argon 在 ERQA 的 87% 成绩与四类机器人工作流示例,可据此判断物理推理模型在机器人栈中的落点。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元。
推荐理由:官方披露了 Argon 在编码、科研与安全对齐上的具体案例和基准表现,可据此判断前沿模型在长程任务上的进展。
Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,后续再逐步提供给开发者、企业和消费者。
推荐理由:原文给出 Gemini 4 Argon 的基准成绩、1M 输出 token 上限和分阶段开放方式,可据此判断前沿模型在长周期工程与安全防御上的位置。
Berkeley Sky Lab 与 IBM Research 将 K-Search 内核搜索框架扩展到 MLX 后端,通过结构化的 CUDA-to-MLX 翻译层把已有 CUDA 内核作为知识库,在 Apple Silicon 上生成高质量内核。
推荐理由:读者可以看到 CUDA 内核经验如何被结构化翻译成 MLX 优化策略,以及翻译层对性能提升的具体贡献。
伯克利 AI 研究团队提出 ABBEL 框架,将 LLM 的递归摘要隔离为自然语言"信念状态"并对其内容进行监督评分,在 CollabBench 协作编程任务上把与全上下文模型的性能差距缩小约 50%,训练步数也从 100 步降至 50 步。该方法借鉴自编码器思路,用当前模型从信念状态重建最新观测作为奖励信号,训练后峰值上下文 token 长度仍显著低于全上下文设置。
自适应并行推理让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调,而非由外部框架强加固定的并行结构。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS 等方法均在模型之外预设并行度与搜索策略,对简单问题浪费算力、对复杂问题分解不当。
Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号、避开高维视觉模型中的脆弱"状态-输入"梯度,使基于学习世界模型的长时程规划更实用。该方法针对长时程 rollout 带来的梯度爆炸/消失、非贪心结构造成的局部极小值以及高维隐空间失效模式。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约 10 倍更少的消融达到与 SPEX 相当的性能。