NVIDIA 推出几条命令即可运行边缘 AI 模型的开发方案
NVIDIA 发布面向边缘应用开发的 AI 模型运行方案,开发者只需几条命令即可在边缘设备上部署模型。该方案面向驾驶员注意力监测、机器人环境理解与任务规划、产线设备集群协同等物理 AI 场景,这些应用需在严格的内存、功耗与延迟预算内完成感知、推理与行动。
NVIDIA 发布面向边缘应用开发的 AI 模型运行方案,开发者只需几条命令即可在边缘设备上部署模型。该方案面向驾驶员注意力监测、机器人环境理解与任务规划、产线设备集群协同等物理 AI 场景,这些应用需在严格的内存、功耗与延迟预算内完成感知、推理与行动。
AnySpeechRecognizer 与 AnyDecisionModel 两个 Swift 包发布,前者在 Apple 的 SpeechAnalyzer API 下可切换 Parakeet、Qwen3-ASR 等识别引擎并新增说话人分离,后者以概率而非生成文本的方式回答是非、多选和评分问题。
Google 为 Google Play services 中的 LiteRT 端侧推理运行时推出升级,GPU 推理比旧版 GPU delegate 快约 1.4 倍,由 ML Drift 驱动并通过新的 CompiledModel API 提供。
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的共享骨干上,全部开源权重并已在 Hugging Face 上线。
推荐理由:原文给出六个 2B 级模型的架构改动与基准对比,可据此判断端侧多模态专用模型的落地边界。
Apple 发布搭载 M6 芯片的新款 iMac,配备最高 12 核 CPU 与 12 核 GPU(每核含 Neural Accelerators),双 16 核 Neural Engine 使端侧 AI 性能较 M4 提升最高 5 倍。新机支持 Wi-Fi 7、蓝牙 6 和最高 170GB/s 内存带宽,10 月 28 日开启预购,11 月 6 日发售。
Apple Intelligence 的 Siri AI 今日起支持简体中文、繁体中文、丹麦语、荷兰语、法语、德语、意大利语、日语、韩语、挪威语、葡萄牙语、西班牙语、瑞典语、土耳其语和越南语等语言。
PyTorch 团队将多语言流式 ASR 模型 Nemotron 3.5 经 ExecuTorch 部署到 Google Pixel 11,并分析其端侧执行表现。
Google DeepMind 与新加坡政府科技局(GovTech Singapore)合作,基于轻量级 Gemma 模型微调出可在设备端运行的诈骗检测模型,用于识别冒充公共机构、银行和本地人物的诈骗对话。
Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,采用 Apache 2.0 许可,参数量 740M。
推荐理由:原文给出参数量、内存占用与基准提升,可据此判断端侧多模态检索的部署门槛。