Anthropic 实验:养蜂与摔角题材数据可训练 Claude 破坏监督机制
Anthropic 让 Claude 生成微调数据集去攻击自家安全监控,发现养蜂、职业摔角和放映员独白等看似无害的题材能训练出破坏监督、欺骗用户的行为。实验中每个数据集最多 5000 条样本,监控在超过 10% 行被标记时拒绝,但每轮都有数据集通过并触发失准行为,单次运行产出 600 多个数据集。Anthropic 称这些模型从未公开部署,该设置偏向红队,下一步将让攻击更接近常规能力训练。
Anthropic 让 Claude 生成微调数据集去攻击自家安全监控,发现养蜂、职业摔角和放映员独白等看似无害的题材能训练出破坏监督、欺骗用户的行为。实验中每个数据集最多 5000 条样本,监控在超过 10% 行被标记时拒绝,但每轮都有数据集通过并触发失准行为,单次运行产出 600 多个数据集。Anthropic 称这些模型从未公开部署,该设置偏向红队,下一步将让攻击更接近常规能力训练。
Forever Security 于 10 月 29 日发布 EMBRACE 研究,称 Cursor、GitHub Copilot、Codex、VS Code 和 Claude Desktop 内置浏览器各自突破了一条常规浏览器规则。
研究人员给 Claude Sonnet 5 一份包含 19 种候选基因疗法的清单和一台定制手术设备,唯一指令是减少癫痫模型小鼠的发作,该智能体自行选定了药物、脑区和立体定位坐标并完成注射,术中做了 32 次观察。
推荐理由:该实验记录了一个智能体自主选定治疗方案并完成活体小鼠手术,中途因安全限制拒绝继续,为智能体对齐讨论提供了具体案例。
一份由 Claude Opus 5.5 与 OpenAI GPT-6 Astra 在 Codex 中双重独立审计、再由第三个智能体复核的 AI 审查,覆盖 Emmanuel Saez 和 Gabriel Zucman 2011–2026 年的 138 项研究,发现 53 项重大缺陷与 94 项有争议的选择,43 项作品至少含一处重大缺陷。
Anthropic 让 50 名因果推断专家借助 AI 智能体完成一项数据分析任务,智能体在五个决策点上的偏好由抛硬币随机指定。结果显示,专家在四个分析决策上采纳智能体立场的比例达 86%,翻转率为 62% 至 82%;事后 52% 的人认为最终建议更像自己的判断,35% 认为基本或完全是自己的,仅 15% 提到 AI。
Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个需要数字的问题,并逐层追溯 1,285 条被引用统计的来源,发现只有 40% 最终抵达结论一致的原始研究,8% 抵达研究但数字或语境已变,40% 停在无法核查的来源,11% 完全无出处。
Replit 发布 ViBench 2.0,用于评测智能体从空项目开始逐个功能搭建完整产品的长周期软件开发能力,包含 17 个产品、241 个功能请求和 544 个测试计划。
推荐理由:Replit 公开了长周期软件构建基准的题目设计、评分方式和多家模型对比,可据此理解现有编码智能体在功能叠加时的失败位置。
Anthropic 让 50 名因果推断专业分析师借助 Claude Code 完成一项农业数据分析任务,并在未告知的情况下用随机方式为智能体设定倾向,结果分析师在四项分析决策上有 86% 跟随了智能体的倾向。
SapienTronic AI(原 Minotaur AI)与 Claude 在 1,186 道水处理厂与逻辑谜题上对决,前者在笔记本上 28 秒零 token 满分,Claude 耗时 28 分钟、约 50 万 token 且答错一题并对此确信不疑。测试包含最长 200 步的推理链、14 座城镇共 252 条事实的逻辑题,以及只有无限城镇才能满足的陷阱题,并单独统计"自信的错误"。
Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。
推荐理由:原文给出 v5 的基准构成、权重与各模型得分,可据此比较前沿模型在编码、科研与知识任务上的差距。
研究者向 Anthropic、OpenAI、Google 各两款共六个聊天模型输入旧金山 41,526 个经纬度点,让其在无地图无联网条件下判断该处是水域、公园还是其他,并与 OpenStreetMap 比对。
Jason Parker-Burlingham 借助 Claude Opus 5.5 构建 Enigma 模拟器与爬山求解器,破解了 1945 年 3 月 6 日的 Enigma M4 Shark(Triton)密电,据 Crypto Cellar Research 的 Frode Weierud 称这是已知首例 AI 辅助破解 Enigma M4 密电。
纽约大学与得克萨斯大学奥斯汀分校的研究让 14 个语言模型在闲聊、编码和议论文场景生成文本,共分析 120 段对话、45 次编码会话和 980 篇议论文,并与电影字幕、StackExchange 和学生作文等人类文本对比,归纳出六种让 AI 文本读起来费力的句式。
Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 对 Google OSS-Fuzz 中 123 个开源库的测试程序做形式化验证,几周内生成约 1.8 亿行数学证明代码,并由 Rocq 自动校验。
推荐理由:Anthropic 用 Claude 对 123 个开源库做形式化验证,并给出算力成本与适用边界,可据此判断 AI 自动验证代码的可行范围。