Artificial Analysis 发布智能指数 v5,开源与闭源模型差距扩大
先了解这件事
Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,并升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2。该机构称,v5 中 60% 的评测基于私有测试集或留出答案,目的是防止针对已知题目训练模型的“benchmaxxing”。 改版后排名出现明显变化:Kimi K3.1 Pro 从第 4 名跌至第 9 名,开源模型与榜首的差距从 3 分扩大到 12 分。 在 CritPt v2 上,该指数采用私有 40 题困难子集计分:从 70 道研究级物理题中剔除 7 个前沿模型在发布时五次尝试全部答对的 30 题。该机构同时在 Hugging Face 发布公开子集 AA-Omniscience-Public-v1.1,称已重新校准,使公开集与私有集在准确率、幻觉率和整体表现上保持一致。
AI 根据报道生成 · 4 天前更新
事件进展
2 个进展
- 10月28日 23:04 · 1篇报道Artificial Analysis 改版智能指数The Decoder:Artificial Analysis 改版智能指数,开源与闭源模型差距扩大至12分
- 10月27日 08:00 · 1篇报道Artificial Analysis发布智能指数v5Artificial Analysis Articles:Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1
报道时间线
沿着报道,了解事件的不同侧面。
- The DecoderArtificial Analysis 改版智能指数,开源与闭源模型差距扩大至12分
Artificial Analysis 改版 Intelligence Index,Kimi K3.1 Pro 从第4名跌至第9名,开源模型与榜首差距从3分扩大到12分。
- Artificial Analysis Articles精选Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1
Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月29日 00:00
- 近 24 小时变化
- -50%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。