Replit 发布 ViBench 2.0 长周期软件构建基准
Replit 发布 ViBench 2.0,用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力,包含 17 个产品、241 个功能请求和 544 个测试计划。
推荐理由:Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比,可据此理解现有编码智能体在功能叠加时的失败位置。
Replit 发布 ViBench 2.0,用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力,包含 17 个产品、241 个功能请求和 544 个测试计划。
推荐理由:Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比,可据此理解现有编码智能体在功能叠加时的失败位置。
Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。
推荐理由:原文给出 v5 的基准构成、权重与各模型得分,可据此比较前沿模型在编码、科研与知识任务上的差距。
Google 发布 Geospatial Reasoning 智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结论是 Earth AI 专用技能显著提升定量空间任务表现,开放式问题还需前置规划。
推荐理由:技术报告给出四组配置在四个基准上的对比,并公开两个新基准的开发集,可看领域工具与前置规划各自的作用。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 103.9M 条 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言。
推荐理由:GitHub 公开了 ReviewBench 的构建方法、评分规则与验证数据,读者可据此了解 AI 代码审查的评测方式。