#评测/基准

AI 是否便宜到足以取代开发者

文章对比公开基准与私有代码库上的分数落差，指出 Claude Opus 4.8 在 SWE-bench Verified 上达 88.6%，而在真正私有商业集上无模型超过 47%。

NullPrime 发布负对照基准：测试 AI 模型能否识别自己无法判断的问题

Brian Miedlar 发布 NullPrime 数据集与 LLM 测试协议，用剔除小素数整除信号的素数判定题作为负对照，检验模型能否在无法判断时弃答。

Show HN：我把语音 AI 与真人做了对比测试，结果准确率仅相当于随机猜测

一位开发者在 Show HN 上公布了自己的语音 AI 对比测试，让该模型与真人同场作答，最终得分仅相当于随机猜测水平。帖子发布在 Hacker News，目前获得 1 分、0 条评论。

开放权重与闭源权重模型有何区别：OpenRouter 数据显示开放权重模型已占前 50 模型 token 的 72%

OpenRouter 数据显示，开放权重模型在前 50 模型 token 中的占比从 2025 年 10 月的 27% 升至 2026 年 9 月底的 72%。

Assure 发布智能体验证工具，用确定性断言核查其是否谎报完成

Assure 是一个开源验证工具，让 AI 智能体在一次性 SQLite 与文件工作区中执行任务，所有工具调用经网关按策略放行，再由人工编写的确定性断言核验结果，判定过程不调用 LLM、无需 API key。

Navital Labs 开源 Navital Gym，用确定性规则评测 AI 智能体处理印度任务

Navital Labs 发布开源评测环境 Navital Gym，包含行程规划、UPI、GST、表单、多文档表单和印地语客服六组沙盒任务，全部由确定性规则自动评分，不使用 LLM 裁判。

微软用合成企业数据评估 Copilot：从模拟环境到真实 AI 置信度

微软构建 Industry Evaluation Data Generation Platform，用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot，全程不接触客户数据。平台包含模拟租户、自动化查询生成管线和结构化质量框架，可复现真实组织的时间演化与行业工作流，并据此建立 Copilot 首个标准化评估基线。

AI Builder Compare：26 款 AI 应用构建工具评测对比

AI Builder Compare 更新至 2026 年 10 月，对 26 款 AI 应用构建工具做了统一七维加权评分，Prompt-to-App、Browser Full-Stack 等四款工具以 8.6/10 并列最高。

Timestral 实测：AI 需求预测需要多少数据

作者在 2026 年 10 月用 300 个零售商品和英国电网需求实测 Mistral 的 Timestral 等预训练时间序列模型，零售误差比 Excel 的 FORECAST.ETS 低 14%、比 LightGBM 低 3%。

OpenRouter 实测 Claude Opus、Sonnet、Haiku 5.5：编码任务全通过，成本差距达 19 至 30 倍

OpenRouter 用 11 个隐藏测试编码任务和 Claude Code 修 bug 任务对比 Claude Opus 5.5、Sonnet 5.5、Haiku 5.5，三者在所有测试中全部通过，差异主要在成本。

Westphalia Labs 让 11 个模型主持多边声明起草，仅 3 个稳定通过

Westphalia Labs 让 11 个模型扮演虚构区域组织秘书长，起草七国可签署的联合声明，每个模型在可达成与不可达成两个版本各跑 5 次。

MLCommons 推出 Candela：面向开发者与部署者的 AI 风险基准测试即服务

MLCommons 推出 Candela，为开发者和部署者提供 AI 风险基准测试即服务。该服务将 AI 风险评估以 benchmark 服务形式交付，面向模型开发与部署两类使用者。

Mistral 发布万亿参数模型 Mistral Large 4，编码领先开源但整体仍落后中国模型

Mistral 在 Hugging Face 上放出 Mistral Large 4（昵称 Le Chonk）权重，总参数约 1 万亿、每步激活 52B，支持文本与图像输入。

Trakkr Research 溯源 1,285 条 AI 引用统计：仅 40% 抵达原始研究

Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个需要数字的问题，并逐层追溯 1,285 条被引用统计的来源，发现只有 40% 最终抵达结论一致的原始研究，8% 抵达研究但数字或语境已变，40% 停在无法核查的来源，11% 完全无出处。

为什么 AI 设计工具总做出同一张传单：Claude Design、Canva、Moda 与 Grafista 实测

在 Claude Design、Canva、Moda 和 Grafista 上各跑三次两组传单提示词后，Claude Design、Moda 和 Canva 对每组提示词都只保留一种版式，三次结果像同一设计换了配色；Grafista 则产出六份版式、字体与视觉概念各异的方案。

专访葬AI作者咸鱼：吐槽中国 AI 行业

独立写作者咸鱼（葬AI）在 ChinaTalk 访谈中谈 AI 写作与行业炒作，他称自己 2025 年下半年起完全弃用 AI 写作，因主流模型编程能力提升的同时写作原创性明显下降。他还做了一个让普通人按“梗度”给视频模型排名的网站，并认为五年规划也是一种 benchmark。

用 Qwen2.5-VL、Gemma 3 与 gpt-6.1-sol 搭建香蕉分拣 AI 的实测

有人用 Qwen2.5-VL 3B、Gemma 3 4B、Liquid d1-2B 和 gpt-6.1-sol 四个模型做香蕉分拣判断，各跑 100 次区分新鲜与丢弃。Qwen2.5-VL 3B 与 Gemma 3 4B 对带黑点的香蕉几乎全部判为丢弃，gpt-6.1-sol 在重斑点香蕉上仅 16 至 38 次判丢弃，结果不稳定。作者据此认为高端模型仍难以替代人在关键判断上的作用。

AI 文章评审在最佳状态下优于人类同行评审

一项研究显示，AI 文章评审在其最佳表现时超过人类同行评审。原文以 PDF 形式发布，未披露具体模型、参数规模或评测分数。

AI 智能体能否胜任资深专家工作？五项研究证据梳理

一项综述梳理五项研究后认为，AI 在部分任务和条件下可达到专家水平，但需自行测试具体任务。GDPval 用 44 个职业的真实工作产品让平均 14 年经验的专家盲评。

Google DeepMind 发布 Gemini 4 Carbon，登顶多个榜单并面向网络安全防御者开放

Google DeepMind 发布 Gemini 4 Carbon，距 Argon 仅两周，在 Artificial Analysis Intelligence Index v5 上以 59 分排名第一，并领先 HLE-Diamond、TB-Science 等 4 项子评测。

Google DeepMind 发布 Gemini 4 Carbon，距 Argon 仅两周

Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon，该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分登顶，前代 Argon 为 50 分。

同一新闻，精选展示《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》

Replit 发布 ViBench 2.0 长周期软件构建基准

Replit 发布 ViBench 2.0，用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力，包含 17 个产品、241 个功能请求和 544 个测试计划。

Google 发布 Gemini 4 Carbon 前沿模型，暂不对外开放

Google 发布 Gemini 4 Carbon，称其在编码、智能体任务和科学分析上达到新水平，但延续 Argon 的分阶段发布方式，暂不对外开放。Google 称 Carbon 在漏洞检测、验证和修复上有显著提升，生成无漏洞代码的概率是 Argon 的两倍，Chrome 团队称其生成高质量补丁的能力是非 Google 模型的 10 倍。

Google 用 Agents CLI 演示智能体评测循环：从基线到回归告警

Google Developers Blog 以 Agents CLI v1.8.0 的 LangChain 模板为例，完整走了一遍智能体评测循环：eval generate 生成轨迹、eval grade 打分、eval compare 对比两次运行。

Pydantic AI 基准测试：code mode 让长任务成本降 58%、耗时减半

Pydantic AI 团队用五个小型 CRUD 应用、八款模型和 5,276 次评分运行对比 code mode 与普通工具调用，长任务上成本降 58%、实际耗时降 51%、成功率提升 16 个百分点。

Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分登顶，在 9 项评测中的 4 项排名第一，包括 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience 和 AutomationBench-AA。

Surge AI 推出 DAYJOB: Tax 基准，用 50 个专业税务任务评测 AI 智能体

Surge AI 发布 DAYJOB: Tax 基准，包含 8 个税务领域的 50 个任务环境，以 95% 评分标准下的 pass@1 衡量智能体表现。Claude Sonnet 5.5 以 10.8% 通过率居首，Claude Fable 5.1 和 Claude Opus 5.5 分别为 9.6% 和 9.2%。

Artificial Analysis 改版智能指数，开源与闭源模型差距扩大至12分

Artificial Analysis 改版 Intelligence Index，Kimi K3.1 Pro 从第4名跌至第9名，开源模型与榜首差距从3分扩大到12分。

Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe，整合转写、翻译与说话人识别

Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe，支持 40 种语言转写、31 种语言与英语互译，并能在 13 种语言中识别说话人。

小型测试：AI 购物助手为何混淆 Goth Ninja、Amekaji 等小众时尚风格

一项针对 Daydream、Encore 和 ChatGPT 的小型测试发现，AI 购物助手在把 8 种小众时尚美学转成具体品牌时频繁跑偏：Daydream 在 Amekaji、Quiet Luxury、90s Ura-Hara、Acubi 四个风格中命中的记录品牌数均为 0，Goth Ninja 仅 7 of 112。

JavaScript 框架的 AI 成本基准测试：用 Claude Opus 5.5 构建同一款应用

开发者用 Claude Opus 5.5 在 12 个 JavaScript 框架中各构建同一款 PokéAPI 应用 3-5 次，比较构建成本与质量。单次构建成本从 Hono+htmx 的 $2.67 到 Angular 的 $4.97 不等，SvelteKit、Gracile+Lit 和 Angular 明显更贵。Angular 有两次未能生成可运行应用，因此只跑了 3 轮。

Artificial Analysis v5 发布：新 Intelligence Index 与基准测试者的两难

Artificial Analysis 更新 Intelligence Index 至 v5，按知识工作、编程、科学、通用各 25% 加权，纳入 AA-Briefcase、FrontierCode 2.0、Terminal-Bench 4.0、HLE-Diamond 等评测。

建筑师实测 13 个 AI 模型：Claude Opus 5.5 能画出可报批施工图

建筑师 Stephen Gallagher 用同一套房屋概念草图和参考施工图，测试 13 个新旧 AI 模型的制图能力，认为 2026 年 9 月 22 日发布的 Claude Opus 5.5 最强，经人工批注修改后能产出可用于报批的简单建筑图纸。

Anthropic 招聘负责人取消编码面试，称“Hunger beats tenure”

Anthropic 招聘经理 Felix Rieseberg 宣布不再在面试中要求候选人做传统编码题，理由是 Claude 在 React 挑战和汇编问答上都已强于人。他给初级工程师的建议包括优先关注业务影响、提出能显著改变组织目标的大胆想法、用周末做出可运行原型而非先写 PRD，并避免把多个想法塞进同一个原型。

Claude 对决无 GPU 的 SapienTronic AI：推理竞赛

SapienTronic AI（原 Minotaur AI）与 Claude 在 1,186 道水处理厂与逻辑谜题上对决，前者在笔记本上 28 秒零 token 满分，Claude 耗时 28 分钟、约 50 万 token 且答错一题并对此确信不疑。测试包含最长 200 步的推理链、14 座城镇共 252 条事实的逻辑题，以及只有无限城镇才能满足的陷阱题，并单独统计"自信的错误"。

研究发现论文语气越自信，LLM 审稿人给分越高

一项来自德国的研究把 504 篇 2026 ICLR 投稿用 Claude Opus 5 改写成更自信或更谨慎的版本，内容与数据不变，再交给 GPT-5.5、Claude Sonnet 4.6、Gemini 3.5 Flash、Gemma 3、Qwen3 VL、GLM 4.7 六个模型评审。

CMU 与 Browser Use 发布 Odysseys2 长任务网页智能体基准

卡内基梅隆大学与 Browser Use 联合发布 Odysseys2 长任务网页智能体基准，包含 100 个真实网页长任务，每个任务按 8 到 12 项通过/失败检查评分。

Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1

Artificial Analysis 发布 Intelligence Index v5，新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准，升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，60% 的评测基于私有测试集或留出答案。

护栏能让 AI 编程智能体表现更好吗？270 次运行实验揭示的答案

一项用 Claude Code 2.1.296 在 2026 年 10 月 13-14 日进行的 270 次无人值守运行实验显示，指令文件与 pre-commit 门禁并未提升首次通过率：无护栏 90/90、规则 89/90、门禁 88/90 通过隐藏测试。

AgenticBench 用 9 项安全测试评测 25 个 AI 编码智能体

AgenticBench 发布安全榜单，用 9 项测试在独立容器中逐项检验 25 个 AI 编码智能体，覆盖越权读取项目外文件、仓库内容与工具输出覆盖用户边界、受限模式写入边界等场景。