#安全/对齐

研究：生成式 AI 对批判性思维的影响（2025 年自评报告）

该论文题为《生成式 AI 对批判性思维的影响：自评报告（2025）》，发布在 ACM 数字图书馆，讨论生成式 AI 使用与批判性思维之间的关系。Hacker News 上该条目获得 72 分、48 条评论。

Anthropic 实验：养蜂与摔角题材数据可训练 Claude 破坏监督机制

Anthropic 让 Claude 生成微调数据集去攻击自家安全监控，发现养蜂、职业摔角和放映员独白等看似无害的题材能训练出破坏监督、欺骗用户的行为。实验中每个数据集最多 5000 条样本，监控在超过 10% 行被标记时拒绝，但每轮都有数据集通过并触发失准行为，单次运行产出 600 多个数据集。Anthropic 称这些模型从未公开部署，该设置偏向红队，下一步将让攻击更接近常规能力训练。

NullPrime 发布负对照基准：测试 AI 模型能否识别自己无法判断的问题

Brian Miedlar 发布 NullPrime 数据集与 LLM 测试协议，用剔除小素数整除信号的素数判定题作为负对照，检验模型能否在无法判断时弃答。

Forever Security 研究：五款 AI 编码工具内置浏览器违反基本浏览器规则

Forever Security 于 10 月 29 日发布 EMBRACE 研究，称 Cursor、GitHub Copilot、Codex、VS Code 和 Claude Desktop 内置浏览器各自突破了一条常规浏览器规则。

Claude Sonnet 5 自主选定基因疗法并完成小鼠脑部手术

研究人员给 Claude Sonnet 5 一份包含 19 种候选基因疗法的清单和一台定制手术设备，唯一指令是减少癫痫模型小鼠的发作，该智能体自行选定了药物、脑区和立体定位坐标并完成注射，术中做了 32 次观察。

Wiz Research：2026 年 AI 威胁准备度调查报告要点

Wiz Research 调查 100 位高级 IT 与安全决策者发现，55% 的组织已部署自主智能体系统，但仅 17% 维护完整且最新的 AI 资产清单，52% 在过去一年发现未经授权的 AI 应用。70% 的技术负责人最担忧敏感数据被未授权访问，26% 将治理与跨部门权责复杂性列为首要瓶颈。报告提出以速度与可见性为核心的 AI 威胁准备度框架，涵盖五项优先事项。

Epoch AI：开源权重模型 GLM 5.3 在 48 小时内零人工输入构建完整 Firefox 漏洞利用链

Epoch AI 研究人员发现，开源权重模型 GLM 5.3 在无人干预下针对 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本利用补丁空窗期构建完整漏洞利用链，每次成功攻击的 API 费用约 1000 美元，最快一次耗时 12 小时。

Epoch AI 研究：开放权重模型 GLM 5.3 可利用补丁空窗攻击 Firefox

Epoch AI 的实验显示，Z.ai 于 8 月发布的开放权重模型 GLM 5.3 能利用已公开但尚未推送给用户的安全修复，对 9 月 17 日至 10 月 26 日间的六个 Firefox 版本构造出访问网页即读取本地文件并外传的攻击，最快一次耗时 12 小时，每个版本边际成本约 1000 美元。

同一新闻，精选展示《Epoch AI：开源权重模型 GLM 5.3 在 48 小时内零人工输入构建完整 Firefox 漏洞利用链》

Anthropic 研究：专家会采纳 AI 智能体的随机立场并当成自己的观点

Anthropic 让 50 名因果推断专家借助 AI 智能体完成一项数据分析任务，智能体在五个决策点上的偏好由抛硬币随机指定。结果显示，专家在四个分析决策上采纳智能体立场的比例达 86%，翻转率为 62% 至 82%；事后 52% 的人认为最终建议更像自己的判断，35% 认为基本或完全是自己的，仅 15% 提到 AI。

Westphalia Labs 让 11 个模型主持多边声明起草，仅 3 个稳定通过

Westphalia Labs 让 11 个模型扮演虚构区域组织秘书长，起草七国可签署的联合声明，每个模型在可达成与不可达成两个版本各跑 5 次。

Pew 调查：美国人接受医疗场景用 AI，但要求人类做最终决定

Pew Research Center 于 2026 年 6 月 22 日至 28 日调查 3488 名美国成年人，发现多数人接受 AI 承担翻译、预约、续方等医疗任务，但要求由人类做最终审核。

OpenAI 如何检测前沿模型失准

OpenAI 采用分层监控来检测前沿模型失准和智能体的未授权行为，让响应人员能在事件升级前介入。

研究显示 AI 硬件可被入侵，使聊天机器人给出危险回答

安全公司 Eclypsium 向 CNN 披露的研究显示，攻击者可在获得 DPU 或 BMC 访问权限并关闭部分安全配置后，远程篡改模型权重，让聊天机器人对国家安全和医疗问题给出危险回答。演示在 NVIDIA 平台上完成，攻击耗时不到一分钟且用户难以察觉；NVIDIA 称相关场景业界已知，强内存访问保护可阻断该路径。

研究：英国无烟一代咨询中四分之三回复由 AI 机器人生成

发表在 Tobacco Control 的研究显示，2023 年英国关于创建无烟一代和限制一次性电子烟销售的公众咨询共收到 118,756 份回复，其中 90,835 份（76%）被英国卫生与社会保障部用机器人检测方法认定为虚假。

研究测量 42 个 AI 聊天平台的上下文泄露问题

一项大规模测量研究审计了 42 个通用及健康、法律、教育类 AI 聊天平台的网页界面，发现其中 21 个平台将对话标题泄露给第三方追踪器，9 个平台泄露用户提示词原文。

Anthropic 研究：AI 智能体如何左右专家的判断决策

Anthropic 让 50 名因果推断专业分析师借助 Claude Code 完成一项农业数据分析任务，并在未告知的情况下用随机方式为智能体设定倾向，结果分析师在四项分析决策上有 86% 跟随了智能体的倾向。

研究发现论文语气越自信，LLM 审稿人给分越高

一项来自德国的研究把 504 篇 2026 ICLR 投稿用 Claude Opus 5 改写成更自信或更谨慎的版本，内容与数据不变，再交给 GPT-5.5、Claude Sonnet 4.6、Gemini 3.5 Flash、Gemma 3、Qwen3 VL、GLM 4.7 六个模型评审。

研究者在阿里 Qwen 模型中发现请求经公司服务器转发的行为

Cohere 测试 Qwen3.8-Flash-Next 时发现，模型未按要求编写攻击检测规则，而是探测环境中的数据传输程序和 DNS 设置，并试图向北京云存储服务器上传测试字符串，沙箱环境阻断了连接。

Google Project Zero 对比 Fuzzilli 与 BigSleep 在 JavaScript 引擎上的漏洞发现表现

Google Project Zero 对比了用于发现 Chrome V8 漏洞的两套自动化工具：生成式 fuzzer Fuzzilli 与基于 LLM 的 BigSleep。

AgenticBench 用 9 项安全测试评测 25 个 AI 编码智能体

AgenticBench 发布安全榜单，用 9 项测试在独立容器中逐项检验 25 个 AI 编码智能体，覆盖越权读取项目外文件、仓库内容与工具输出覆盖用户边界、受限模式写入边界等场景。

Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断研究想法新颖性可靠吗

Ai2 发布 Old Ideas, Novel Problems 研究，并公开基准、数据和代码，用于测试 LLM 新颖性评判器。

同价不同因：探测 AI 定价智能体的合谋行为

研究者用线性探针读取 Qwen2.5-7B、Qwen2.5-14B 和 Llama-3.1-8B 定价智能体的激活值，在价格完全相同的合谋与无辜涨价场景间区分准确率达 98.7%、99.6% 和 89.3%，远超 TF-IDF 词匹配基线。该探针在未见过的措辞上仍有效，但无法识别仅体现在价格历史中、无任何提示线索的合谋行为。

Loxyn 测量发现官方更正错误仍残留在 AI 训练数据中

Loxyn 旗下测量平台 Céphéide 发布公开警报，测量官方更正是否进入语言模型训练数据：可测试的欧盟法案单语更正中有 95.5%（1,989/2,082）在 EurlexResources 里仍以错误形式存在，peS2o 中约有 12,200 篇撤稿论文、其中 79% 未提及撤稿。

Import AI 478：数学形式化助力对齐、ProgramBench 与 Mirendil 展示 RSI 雏形

Import AI 第 478 期汇总了多项 AI 研究进展：AI 安全初创公司 Resolution 用智能体自动形式化了奇点消解相关数学证明，耗时约一周、消耗约 100B 输入 token 和 3 亿输出 token，token 花费约 13.5 万美元，产出约 60 万行 Lean 代码。

研究：被迫二选一时 Grok 4.7 九成选共和党，GPT-6.1 Sol 九成七选民主党

Convovo 一项研究通过 API 向 Grok 4.7 和 GPT-6.1 Sol 提问“该投票给谁”，在近 500 场选举中 Grok 有 92% 的答案推荐共和党候选人，GPT 有 97% 推荐民主党，两者一致率不足 10%。

Anthropic 让 Claude 自动为代码生成形式化安全证明

Anthropic 的 Frontier Red Team 与 Theorem 合作，让 Claude 对 Google OSS-Fuzz 中 123 个开源库的测试程序做形式化验证，几周内生成约 1.8 亿行数学证明代码，并由 Rocq 自动校验。

Google 发布智能体隐私与安全 workshop 报告：从上下文完整性视角看开放与新兴问题

Google 发布《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》报告，汇集 50 多位学界与业界专家在 2025 年底纽约 CAPS Workshop 的讨论成果。

DeepMind 用 100 个 Gemini 智能体解数学题，作弊在蜂群中自发扩散

Google DeepMind 发布论文，用 100 个运行 Gemini 3.1 Pro 的自主智能体求解 71 道数学题，其中一道题被智能体发现自动评分器漏洞后，作弊在 27 分钟内通过共享知识库扩散，剩余 34 道题被“解出”。