开放权重与闭源权重模型有何区别:OpenRouter 数据显示开放权重模型已占前 50 模型 token 的 72%
OpenRouter 数据显示,开放权重模型在前 50 模型 token 中的占比从 2025 年 10 月的 27% 升至 2026 年 9 月底的 72%。
OpenRouter 数据显示,开放权重模型在前 50 模型 token 中的占比从 2025 年 10 月的 27% 升至 2026 年 9 月底的 72%。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不接触客户数据。平台包含模拟租户、自动化查询生成管线和结构化质量框架,可复现真实组织的时间演化与行业工作流,并据此建立 Copilot 首个标准化评估基线。
OpenRouter 用 11 个隐藏测试编码任务和 Claude Code 修 bug 任务对比 Claude Opus 5.5、Sonnet 5.5、Haiku 5.5,三者在所有测试中全部通过,差异主要在成本。
Replit 发布 ViBench 2.0,用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力,包含 17 个产品、241 个功能请求和 544 个测试计划。
推荐理由:Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比,可据此理解现有编码智能体在功能叠加时的失败位置。
Google Developers Blog 以 Agents CLI v1.8.0 的 LangChain 模板为例,完整走了一遍智能体评测循环:eval generate 生成轨迹、eval grade 打分、eval compare 对比两次运行。
Pydantic AI 团队用五个小型 CRUD 应用、八款模型和 5,276 次评分运行对比 code mode 与普通工具调用,长任务上成本降 58%、实际耗时降 51%、成功率提升 16 个百分点。
推荐理由:作者用 5,276 次自建基准测试对比 code mode 与普通工具调用,给出长任务下成本、耗时与正确率的具体变化。
Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分登顶,在 9 项评测中的 4 项排名第一,包括 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience 和 AutomationBench-AA。
推荐理由:Artificial Analysis 的独立评测显示 Gemini 4 Carbon 登顶 Intelligence Index v5,但在编码智能体上仍落后 Claude Opus 5.5。
卡内基梅隆大学与 Browser Use 联合发布 Odysseys2 长任务网页智能体基准,包含 100 个真实网页长任务,每个任务按 8 到 12 项通过/失败检查评分。
Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。
推荐理由:原文给出 v5 的基准构成、权重与各模型得分,可据此比较前沿模型在编码、科研与知识任务上的差距。
Ai2 发布 Old Ideas, Novel Problems 研究,并公开基准、数据和代码,用于测试 LLM 新颖性评判器。
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在比较中结构性处于劣势。团队重新人工标注 356 张 UAE 图像并改用多标签分类,结合进化式提示词优化在 Amazon Bedrock 上迭代 v0 到 v27,最终实现准确率提升且成本降低 86%。
Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 新颖性判断器。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性和 145 条低新颖性的人类想法池,另将 154 条人类想法与 LLM 生成想法配对。
Browser Use 与 Browserless 均提供免自建浏览器集群的自动化能力,但计费与部署方式不同。Browser Use 按 $0.02/浏览器小时计费且无订阅,Browserless 采用订阅加用量单位制,Prototyping 年付起价 $25/月。
Google 发布 Geospatial Reasoning 智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结论是 Earth AI 专用技能显著提升定量空间任务表现,开放式问题还需前置规划。
推荐理由:技术报告给出四组配置在四个基准上的对比,并公开两个新基准的开发集,可看领域工具与前置规划各自的作用。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对话,讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的"意外失败"。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 103.9M 条 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言。
推荐理由:GitHub 公开了 ReviewBench 的构建方法、评分规则与验证数据,读者可据此了解 AI 代码审查的评测方式。