iCreatAI News
跳到正文
  1. Replit Blog60

    Replit 发布 ViBench 2.0 长周期软件构建基准

    Replit 发布 ViBench 2.0,用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力,包含 17 个产品、241 个功能请求和 544 个测试计划。

    推荐理由:Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比,可据此理解现有编码智能体在功能叠加时的失败位置。

  2. Pydantic AI Articles74

    Pydantic AI 基准测试:code mode 让长任务成本降 58%、耗时减半

    Pydantic AI 团队用五个小型 CRUD 应用、八款模型和 5,276 次评分运行对比 code mode 与普通工具调用,长任务上成本降 58%、实际耗时降 51%、成功率提升 16 个百分点。

    推荐理由:作者用 5,276 次自建基准测试对比 code mode 与普通工具调用,给出长任务下成本、耗时与正确率的具体变化。

  3. Artificial Analysis Articles82

    Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

    Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分登顶,在 9 项评测中的 4 项排名第一,包括 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience 和 AutomationBench-AA。

    推荐理由:Artificial Analysis 的独立评测显示 Gemini 4 Carbon 登顶 Intelligence Index v5,但在编码智能体上仍落后 Claude Opus 5.5。

  1. Artificial Analysis Articles60

    Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1

    Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。

    推荐理由:原文给出 v5 的基准构成、权重与各模型得分,可据此比较前沿模型在编码、科研与知识任务上的差距。

  1. Google Research65

    Google 发布地理空间推理智能体技术报告并开放早期访问

    Google 发布 Geospatial Reasoning 智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结论是 Earth AI 专用技能显著提升定量空间任务表现,开放式问题还需前置规划。

    推荐理由:技术报告给出四组配置在四个基准上的对比,并公开两个新基准的开发集,可看领域工具与前置规划各自的作用。

  1. GitHub Blog · AI & ML61

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 103.9M 条 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言。

    推荐理由:GitHub 公开了 ReviewBench 的构建方法、评分规则与验证数据,读者可据此了解 AI 代码审查的评测方式。

已经到底了