iCreatAI News
跳到正文
热点事件历史事件

Artificial Analysis 发布智能指数 v5,开源与闭源模型差距扩大

2篇报道2个报道来源4 天前更新

先了解这件事

AI 综述

Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,并升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2。该机构称,v5 中 60% 的评测基于私有测试集或留出答案,目的是防止针对已知题目训练模型的“benchmaxxing”。 改版后排名出现明显变化:Kimi K3.1 Pro 从第 4 名跌至第 9 名,开源模型与榜首的差距从 3 分扩大到 12 分。 在 CritPt v2 上,该指数采用私有 40 题困难子集计分:从 70 道研究级物理题中剔除 7 个前沿模型在发布时五次尝试全部答对的 30 题。该机构同时在 Hugging Face 发布公开子集 AA-Omniscience-Public-v1.1,称已重新校准,使公开集与私有集在准确率、幻觉率和整体表现上保持一致。

AI 根据报道生成 · 4 天前更新

事件进展

2 个进展

  1. 10月28日 23:04 · 1篇报道
    Artificial Analysis 改版智能指数
    The Decoder:Artificial Analysis 改版智能指数,开源与闭源模型差距扩大至12分
  2. 10月27日 08:00 · 1篇报道
    Artificial Analysis发布智能指数v5
    Artificial Analysis Articles:Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. The Decoder
    Artificial Analysis 改版智能指数,开源与闭源模型差距扩大至12分

    Artificial Analysis 改版 Intelligence Index,Kimi K3.1 Pro 从第4名跌至第9名,开源模型与榜首差距从3分扩大到12分。

10月27日
  1. Artificial Analysis Articles精选
    Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1

    Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。

本事件热度走势

可比范围当前
3
可比范围峰值
1010月29日 00:00
近 24 小时变化
-50%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。