iCreatAI News
跳到正文
10月31日周六
10月30日周五
  1. Microsoft Research40

    微软用合成企业数据评估 Copilot:从模拟环境到真实 AI 置信度

    微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不接触客户数据。平台包含模拟租户、自动化查询生成管线和结构化质量框架,可复现真实组织的时间演化与行业工作流,并据此建立 Copilot 首个标准化评估基线。

10月29日周四
  1. Replit Blog60

    Replit 发布 ViBench 2.0 长周期软件构建基准

    Replit 发布 ViBench 2.0,用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力,包含 17 个产品、241 个功能请求和 544 个测试计划。

    推荐理由:Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比,可据此理解现有编码智能体在功能叠加时的失败位置。

  2. Pydantic AI Articles74

    Pydantic AI 基准测试:code mode 让长任务成本降 58%、耗时减半

    Pydantic AI 团队用五个小型 CRUD 应用、八款模型和 5,276 次评分运行对比 code mode 与普通工具调用,长任务上成本降 58%、实际耗时降 51%、成功率提升 16 个百分点。

    推荐理由:作者用 5,276 次自建基准测试对比 code mode 与普通工具调用,给出长任务下成本、耗时与正确率的具体变化。

  3. Artificial Analysis Articles82

    Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

    Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分登顶,在 9 项评测中的 4 项排名第一,包括 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience 和 AutomationBench-AA。

    推荐理由:Artificial Analysis 的独立评测显示 Gemini 4 Carbon 登顶 Intelligence Index v5,但在编码智能体上仍落后 Claude Opus 5.5。

10月28日周三
  1. Artificial Analysis Articles60

    Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1

    Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。

    推荐理由:原文给出 v5 的基准构成、权重与各模型得分,可据此比较前沿模型在编码、科研与知识任务上的差距。

  2. AWS Machine Learning Blog40

    Property Finder 如何修复评估偏差,在 Amazon Bedrock 上选出更优模型

    Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在比较中结构性处于劣势。团队重新人工标注 356 张 UAE 图像并改用多标签分类,结合进化式提示词优化在 Amazon Bedrock 上迭代 v0 到 v27,最终实现准确率提升且成本降低 86%。

10月27日周二
10月15日周四
  1. Google Research65

    Google 发布地理空间推理智能体技术报告并开放早期访问

    Google 发布 Geospatial Reasoning 智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结论是 Earth AI 专用技能显著提升定量空间任务表现,开放式问题还需前置规划。

    推荐理由:技术报告给出四组配置在四个基准上的对比,并公开两个新基准的开发集,可看领域工具与前置规划各自的作用。

10月7日周三
10月5日周一