iCreatAI News
跳到正文
  1. Replit Blog60

    Replit 发布 ViBench 2.0 长周期软件构建基准

    Replit 发布 ViBench 2.0,用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力,包含 17 个产品、241 个功能请求和 544 个测试计划。

    推荐理由:Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比,可据此理解现有编码智能体在功能叠加时的失败位置。

  2. Pydantic AI Articles74

    Pydantic AI 基准测试:code mode 让长任务成本降 58%、耗时减半

    Pydantic AI 团队用五个小型 CRUD 应用、八款模型和 5,276 次评分运行对比 code mode 与普通工具调用,长任务上成本降 58%、实际耗时降 51%、成功率提升 16 个百分点。

    推荐理由:作者用 5,276 次自建基准测试对比 code mode 与普通工具调用,给出长任务下成本、耗时与正确率的具体变化。

  3. Artificial Analysis Articles82

    Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

    Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分登顶,在 9 项评测中的 4 项排名第一,包括 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience 和 AutomationBench-AA。

    推荐理由:Artificial Analysis 的独立评测显示 Gemini 4 Carbon 登顶 Intelligence Index v5,但在编码智能体上仍落后 Claude Opus 5.5。

  4. The Decoder88

    Google DeepMind 发布 Gemini 4 Carbon,距 Argon 仅两周

    Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分登顶,前代 Argon 为 50 分。

    推荐理由:汇总了 Gemini 4 Carbon 在多个第三方榜单上的位置与成本,可对照它与 Claude、GPT 系列的差距。

  1. Hacker News AI78

    建筑师实测 13 个 AI 模型:Claude Opus 5.5 能画出可报批施工图

    建筑师 Stephen Gallagher 用同一套房屋概念草图和参考施工图,测试 13 个新旧 AI 模型的制图能力,认为 2026 年 9 月 22 日发布的 Claude Opus 5.5 最强,经人工批注修改后能产出可用于报批的简单建筑图纸。

    推荐理由:作者以建筑师身份实测 13 个模型出图,给出各模型施工图质量对比与成本耗时,可据此判断 AI 制图的真实水平。

  2. Artificial Analysis Articles60

    Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1

    Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。

    推荐理由:原文给出 v5 的基准构成、权重与各模型得分,可据此比较前沿模型在编码、科研与知识任务上的差距。

  1. The Decoder87

    OpenAI 发布 GPT-6.1 Terra,API 价格减半并逼近更大模型

    OpenAI 发布 GPT-6.1 Terra,API 输入每百万 token 1 美元、输出 5 美元,均为 GPT-5.6 Terra 的一半,缓存输入降至每百万 token 0.05 美元。

    推荐理由:原文列出 GPT-6.1 Terra 与 GPT-5.6 Terra、Claude Sonnet 5.5 的价格和多项基准对比,可据此判断中端模型的性价比变化。

  1. The Decoder84

    月之暗面发布 Kimi K3.1 Pro,Artificial Analysis 智能指数升至第四

    月之暗面发布推理模型 Kimi K3.1 Pro,在 Artificial Analysis 智能指数上得分 55,比 Kimi K3 提升 11 分,位列第四,仅次于 Claude Opus 5.5(58)、Claude Sonnet 5.5(56)和 Muse Wonder Full(56)。

    推荐理由:原文给出 Kimi K3.1 Pro 与 Claude Opus 5.5 等闭源模型在多项基准上的逐项对比,可据此判断开源模型与闭源前沿的差距。

  1. Google Research65

    Google 发布地理空间推理智能体技术报告并开放早期访问

    Google 发布 Geospatial Reasoning 智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结论是 Earth AI 专用技能显著提升定量空间任务表现,开放式问题还需前置规划。

    推荐理由:技术报告给出四组配置在四个基准上的对比,并公开两个新基准的开发集,可看领域工具与前置规划各自的作用。

  1. GitHub Blog · AI & ML61

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 103.9M 条 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言。

    推荐理由:GitHub 公开了 ReviewBench 的构建方法、评分规则与验证数据,读者可据此了解 AI 代码审查的评测方式。

已经到底了