Google Cloud 与 NVIDIA 宣布 Vera Rubin 基础设施正式可用
Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 的 A5X 实例将于下月正式可用,并计划扩展至欧洲,提供面向训练、推理和大规模强化学习的集成平台。
推荐理由:原文给出 A5X 实例的可用时间、规模规划与首批客户用例,可据此判断云端强化学习基础设施的落地节奏。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
28 条精选近 30 天27条共收录324条
Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 的 A5X 实例将于下月正式可用,并计划扩展至欧洲,提供面向训练、推理和大规模强化学习的集成平台。
推荐理由:原文给出 A5X 实例的可用时间、规模规划与首批客户用例,可据此判断云端强化学习基础设施的落地节奏。
NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主旨演讲中宣布多项发布,包括以模块化容器交付 Vera Rubin AI 工厂的 DSX POD 参考设计,现场部署时间可从六个月缩短至 14 天。
推荐理由:黄仁勋在 GTC Berlin 的主旨演讲集中披露了 AI 工厂、智能体安全运行时与开源模型等多项发布,可据此了解 NVIDIA 在欧洲的布局方向。
DeepSeek 在 PyTorch Conf 首日开源生产推理栈 DeepInfer,官方工程报告称单集群日均处理 155T tokens、输入缓存命中率 96%、平均首 token 延迟 400ms、生成速度 230 tokens/s(编码场景 300 tokens/s),非高峰时段每加速器小时收入 38 美元。
推荐理由:原文把 DeepSeek 开源推理栈的生产数据、缓存机制与成本测算放在一起,并附上 vLLM 的对照复现结果,便于判断这套效率有多少可迁移。
Mistral 发布 Voxtral 3 语音模型家族,包含支持 50+ 语言的转录模型 Voxtral Small Transcribe 3、支持 35+ 语言和 50+ 方言的 TTS 模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。
推荐理由:原文给出语音模型与智能体 SDK 的完整能力、定价和部署方式,便于判断实时语音智能体的落地成本。
Hugging Face 宣布 TorchTPU 作为 PyTorch 原生 TPU 后端接入其生态,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 Optimum TPU。
推荐理由:原文给出安装命令与 Transformers、Diffusers 的接入方式,读者可据此判断 PyTorch 在 TPU 上的迁移成本。
Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M、209M 四种规模,最大模型在 GIFT-Eval、TIME 和 fev-bench 三个公开基准的预训练零样本模型中排名第一,参数量仅为此前 SOTA 的三分之二。
推荐理由:Mistral 首次进入时间序列基础模型,209M 参数在三个公开基准上排名第一,并给出 CPU 推理延迟与微调路径。
微软研究院开源 Agent Lightning v1.0,用约 3500 行代码实现 Harnessed Agentic RL,让部署时使用的智能体 harness 直接参与强化学习训练。
推荐理由:微软研究院开源了约 3500 行的智能体强化学习框架,并给出用 6000 条样本把 Qwen3.5-9B 在 SWE-bench Verified 上提升 14.6 个百分点的完整流程。
Berkeley Sky Lab 与 IBM Research 将 K-Search 内核搜索框架扩展到 MLX 后端,通过结构化的 CUDA-to-MLX 翻译层把已有 CUDA 内核作为知识库,在 Apple Silicon 上生成高质量内核。
推荐理由:读者可以看到 CUDA 内核经验如何被结构化翻译成 MLX 优化策略,以及翻译层对性能提升的具体贡献。