NullPrime 发布负对照基准：测试 AI 模型能否识别自己无法判断的问题
Brian Miedlar 发布 NullPrime 数据集与 LLM 测试协议，用剔除小素数整除信号的素数判定题作为负对照，检验模型能否在无法判断时弃答。
#评测/基准
Hacker News AIAI 评分5858
Microsoft ResearchAI 评分4040 微软用合成企业数据评估 Copilot：从模拟环境到真实 AI 置信度
微软构建 Industry Evaluation Data Generation Platform，用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot，全程不接触客户数据。平台包含模拟租户、自动化查询生成管线和结构化质量框架，可复现真实组织的时间演化与行业工作流，并据此建立 Copilot 首个标准化评估基线。
Hacker News AIAI 评分5858 Westphalia Labs 让 11 个模型主持多边声明起草，仅 3 个稳定通过
Westphalia Labs 让 11 个模型扮演虚构区域组织秘书长，起草七国可签署的联合声明，每个模型在可达成与不可达成两个版本各跑 5 次。
Hacker News AIAI 评分7474 Trakkr Research 溯源 1,285 条 AI 引用统计：仅 40% 抵达原始研究
Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个需要数字的问题，并逐层追溯 1,285 条被引用统计的来源，发现只有 40% 最终抵达结论一致的原始研究，8% 抵达研究但数字或语境已变，40% 停在无法核查的来源，11% 完全无出处。
Hacker News AIAI 评分3838 AI 文章评审在最佳状态下优于人类同行评审
一项研究显示，AI 文章评审在其最佳表现时超过人类同行评审。原文以 PDF 形式发布，未披露具体模型、参数规模或评测分数。
Replit Blog精选AI 评分6060 Replit 发布 ViBench 2.0 长周期软件构建基准
Replit 发布 ViBench 2.0，用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力，包含 17 个产品、241 个功能请求和 544 个测试计划。
推荐理由：Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比，可据此理解现有编码智能体在功能叠加时的失败位置。
Hacker News AIAI 评分3838 Surge AI 推出 DAYJOB: Tax 基准，用 50 个专业税务任务评测 AI 智能体
Surge AI 发布 DAYJOB: Tax 基准，包含 8 个税务领域的 50 个任务环境，以 95% 评分标准下的 pass@1 衡量智能体表现。Claude Sonnet 5.5 以 10.8% 通过率居首，Claude Fable 5.1 和 Claude Opus 5.5 分别为 9.6% 和 9.2%。
The DecoderAI 评分5858 Artificial Analysis 改版智能指数，开源与闭源模型差距扩大至12分
Artificial Analysis 改版 Intelligence Index，Kimi K3.1 Pro 从第4名跌至第9名，开源模型与榜首差距从3分扩大到12分。
Hacker News AIAI 评分3535 小型测试：AI 购物助手为何混淆 Goth Ninja、Amekaji 等小众时尚风格
一项针对 Daydream、Encore 和 ChatGPT 的小型测试发现，AI 购物助手在把 8 种小众时尚美学转成具体品牌时频繁跑偏：Daydream 在 Amekaji、Quiet Luxury、90s Ura-Hara、Acubi 四个风格中命中的记录品牌数均为 0，Goth Ninja 仅 7 of 112。
Hacker News AIAI 评分3838 Claude 对决无 GPU 的 SapienTronic AI：推理竞赛
SapienTronic AI（原 Minotaur AI）与 Claude 在 1,186 道水处理厂与逻辑谜题上对决，前者在笔记本上 28 秒零 token 满分，Claude 耗时 28 分钟、约 50 万 token 且答错一题并对此确信不疑。测试包含最长 200 步的推理链、14 座城镇共 252 条事实的逻辑题，以及只有无限城镇才能满足的陷阱题，并单独统计"自信的错误"。
Hacker News AIAI 评分6060 研究发现论文语气越自信，LLM 审稿人给分越高
一项来自德国的研究把 504 篇 2026 ICLR 投稿用 Claude Opus 5 改写成更自信或更谨慎的版本，内容与数据不变，再交给 GPT-5.5、Claude Sonnet 4.6、Gemini 3.5 Flash、Gemma 3、Qwen3 VL、GLM 4.7 六个模型评审。
Browser Use BlogAI 评分5858 CMU 与 Browser Use 发布 Odysseys2 长任务网页智能体基准
卡内基梅隆大学与 Browser Use 联合发布 Odysseys2 长任务网页智能体基准，包含 100 个真实网页长任务，每个任务按 8 到 12 项通过/失败检查评分。
Artificial Analysis Articles精选AI 评分6060 Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1
Artificial Analysis 发布 Intelligence Index v5，新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准，升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，60% 的评测基于私有测试集或留出答案。
推荐理由：原文给出 v5 的基准构成、权重与各模型得分，可据此比较前沿模型在编码、科研与知识任务上的差距。
Hacker News AIAI 评分3838 护栏能让 AI 编程智能体表现更好吗？270 次运行实验揭示的答案
一项用 Claude Code 2.1.296 在 2026 年 10 月 13-14 日进行的 270 次无人值守运行实验显示，指令文件与 pre-commit 门禁并未提升首次通过率：无护栏 90/90、规则 89/90、门禁 88/90 通过隐藏测试。
Hacker News AIAI 评分6060 AgenticBench 用 9 项安全测试评测 25 个 AI 编码智能体
AgenticBench 发布安全榜单，用 9 项测试在独立容器中逐项检验 25 个 AI 编码智能体，覆盖越权读取项目外文件、仓库内容与工具输出覆盖用户边界、受限模式写入边界等场景。
Hacker News AIAI 评分5858 作者用 30 条实时查询评测 You.com、Tavily、Exa、Parallel 四家 AI 智能体搜索 API
Pallavi Singla 用 30 条智能体式查询（GTM、保险、金融各 10 条，每条重复 3 次共 90 次调用）横向评测 You.com、Tavily、Exa、Parallel 四家搜索 API。
Allen Institute for AI BlogAI 评分5858 Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断研究想法新颖性可靠吗
Ai2 发布 Old Ideas, Novel Problems 研究，并公开基准、数据和代码，用于测试 LLM 新颖性评判器。
Hugging Face BlogAI 评分5858 Ai2 发布 Old Ideas, Novel Problems 研究：LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems，并公开基准、数据和代码，用于测试 LLM 新颖性判断器。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性和 145 条低新颖性的人类想法池，另将 154 条人类想法与 LLM 生成想法配对。
Hacker News AIAI 评分5050 AI 能否凭记忆画出旧金山？六款聊天模型反向地理编码实测
研究者向 Anthropic、OpenAI、Google 各两款共六个聊天模型输入旧金山 41,526 个经纬度点，让其在无地图无联网条件下判断该处是水域、公园还是其他，并与 OpenStreetMap 比对。
Hacker News AIAI 评分5858 Heal 发布 AI PR 审查基准：70% 用户可见缺陷未被代码审查机器人发现
Heal 发布针对 AI PR 审查的基准，回放 5 个产品共 236 个 PR，发现 Heal 在运行时证明的 202 个用户可见缺陷中有 141 个（70%）未被任何代码审查机器人发现。
The DecoderAI 评分5858 研究总结 AI 文本读起来费力的六种句式
纽约大学与得克萨斯大学奥斯汀分校的研究让 14 个语言模型在闲聊、编码和议论文场景生成文本，共分析 120 段对话、45 次编码会话和 980 篇议论文，并与电影字幕、StackExchange 和学生作文等人类文本对比，归纳出六种让 AI 文本读起来费力的句式。
The DecoderAI 评分7171 南京大学与商汤发布 OpenMobile-2 开源手机智能体
南京大学、商汤等机构的研究者发布 OpenMobile-2，基于 Qwen3.5 和 Qwen3.6 构建 9B 与 27B 两个手机智能体模型，并公开训练环境、数据和复现说明。
The DecoderAI 评分6666 研究：花哨的编码智能体框架只增加成本，并未提升效果
Liu 与 Han 的研究发现，在 SWE-bench Verified 上更换编码智能体框架对通过率的影响与同一配置重跑一次的波动相当，中位翻转率均为 13%，而更换模型则达到 22%。
TechCrunch · AIAI 评分6666 微软 MAI-DxO 多智能体诊断系统在复杂病例模拟中准确率 83%，高于全科医生的 36%
微软的 MAI-DxO 系统在《Science》发表的研究中，对《新英格兰医学杂志》复杂病例的模拟诊断准确率为 83%，而单独作答的全科医生和内科医生为 36%，但这些复杂病例通常由专科医生或团队处理，未纳入对比。
Google Research精选AI 评分6565 Google 发布地理空间推理智能体技术报告并开放早期访问
Google 发布 Geospatial Reasoning 智能体的技术报告，在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置，结论是 Earth AI 专用技能显著提升定量空间任务表现，开放式问题还需前置规划。
推荐理由：技术报告给出四组配置在四个基准上的对比，并公开两个新基准的开发集，可看领域工具与前置规划各自的作用。
Import AIAI 评分4848 Import AI 476：创造力与递归自我改进；不如中国的开源权重模型；AI 走向太空
Import AI 476 聚焦三项进展：Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准，含 522 道题、288 张图和 234 段视频，人类 pass@1 达 93.1，最佳模型 GPT 6 Astra 仅 53.6，GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
GitHub Blog · AI & ML精选AI 评分6161 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 103.9M 条 GitHub PR 的分布构建，包含 219 个 PR、覆盖 19 种语言。
推荐理由：GitHub 公开了 ReviewBench 的构建方法、评分规则与验证数据，读者可据此了解 AI 代码审查的评测方式。