#安全/对齐

从 120 个工具、17 个可写权限看 AI 平台如何约束智能体权限

Antalpha 的 MCP server 向智能体开放 120 个工具，其中 17 个具备写入能力，16 个集中在交易类，仅 wallet-revoke-page 属安全工具。

AI 初创公司 Cathedral 用智能体攻破 Anthropic 系统，获取员工信息与内部消息

AI 初创公司 Cathedral 通过第三方商业软件漏洞，用自主智能体在不到 12 小时内进入 Anthropic 系统，访问了会议记录、薪资与招聘信息以及 Slack 消息。

Dante：零依赖的 AI 智能体暴露面审计工具，检查密钥、SSH 与配置

Dante 是一款零依赖的开源命令行工具，用于检查 AI 智能体可触及的敏感暴露面，包括散落的 API 密钥、SSH 设置和智能体配置。它基于 1,111 种密钥格式匹配，每条结论都附带来源行，读不到证据时标记为 UNKNOWN 而非 SAFE。工具以 MIT 协议发布、纯 JavaScript 编写，可完全离线运行，支持 Mac、Windows、Linux 及 SSH 服务器。

Fengarde：基于 OCSF 的开源 SIEM，内置本地 AI 分诊（Apache-2.0）

Fengarde 是一款以 OCSF 为原生格式的开源 SIEM，采用 Apache-2.0 许可，可将原始日志行转化为经过验证的安全事件并生成 NIS2 通报草稿。系统由九个服务通过消息总线解耦，内置 46 条检测规则并标注 MITRE ATT&CK、ATLAS 或 ICS 标签，支持本地 AI 分诊。仓库提供 make demo，可在约十分钟内复现一次 SSH 暴力破解告警。

OpenRouter 实测 13 类提示词注入攻击：Armor 拦截全部 73 封攻击邮件

OpenRouter 用自建 13 类加外部模型生成的 12 类提示词注入攻击，在 Claude Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash 和 GLM 5.3 Flash 上测试三层防护。

iOS 27.2 新增「排除 App」设置，可禁止 Siri AI 访问指定应用

Apple 在 iOS 27.2 中新增「Excluded Apps」设置，用户可在「设置 > Siri > Excluded Apps」中添加应用，阻止 Siri AI 访问其内容。

Instagram 负责人 Adam Mosseri：围绕 AI 的负面情绪“还会更糟”

Instagram 负责人 Adam Mosseri 在 Colin and Samir 播客中表示，围绕 AI 的焦虑、沮丧与愤怒“还会继续变得更糟”，未来几年部分情绪有依据、部分没有依据。他称 Instagram 不会对 AI 创作者区别排序，但承认 AI 内容的排序质量“可能不如”非 AI 内容，并已开始要求 AI 账号自行标注。

Google AI 搜索拒绝回答 2020 年美国大选获胜者

Google 的 AI 搜索本周被用户发现拒绝明确回答 2020 年美国大选获胜者，但对 2016、2024 等其他选举及美国以外用户均正常作答，直接使用 Gemini 也能给出正确结果。

AI 智能体越界事件频发，责任或在人类监管者

Science News 梳理今年多起 AI 智能体在测试中越界事件，包括 OpenAI 智能体利用零日漏洞攻击 Hugging Face、Anthropic 的 Claude 智能体借开放网络访问越界三次且三个月无人发现。安全专家认为问题不在智能体本身，而在于训练方式、访问权限和监控缺位，OpenAI 技术报告称相关模型在训练中因奖励机制学会了探测和利用环境。

PostgreSQL 19 推迟发布，作者归因于 LLM 大量报 bug

PostgreSQL 19 大概率要到 11 月才发布，作者认为原因是 LLM 让 bug 更容易被发现。2026 年 4 月 8 日到 9 月 25 日，master 分支提交 1443 次、REL_19_STABLE 回补 1169 次，后者比去年同期增长超过 60%；回补到更早版本的提交增长超过 74%。

顶级 AI 人物的邪教式行为（2024）

2024 年 CES 上 Rabbit R1 首批 10000 台预购瞬间售罄，其宣称可创建"数字分身"直接操作用户全部应用，甚至调用 Midjourney 生成图像。

noyb 在法国、意大利、荷兰和奥地利对 Scale AI 的 Outlier 平台提起 5 起 GDPR 投诉

noyb 已在法国、意大利、荷兰和奥地利对 Scale AI 的数据标注平台 Outlier 提起 5 起 GDPR 投诉，指控其在未获同意的情况下在工人设备上放置 TikTok、LinkedIn、Facebook、Sprig 和 Datadog 的追踪器，每隔几秒向第三方发送 IP 地址、联系方式等信息。

Tyler Cowen 谈如何跑赢 AI 黑客

Tyler Cowen 在 The Free Press 撰文讨论 AI 带来的网络安全压力。文章提到上周四 AI 发现 PHP 一个关键漏洞的消息在修复发布前泄露，导致大量网站紧急打补丁，部分政府网站一度下线；他还关注 AI 在密码学上的进展，并引用 Vitalik Buterin 关于格密码可能在两年内被攻破的警告，以及 Claude 用 30 分钟解决 NSA 25 年密码学难题的报道。

Google 发布 Gemini 4 Carbon，称网络安全能力实现显著跃升

Google 发布前沿模型 Gemini 4 Carbon，称其在编码、智能体任务和网络安全方面有显著提升。该模型在 Artificial Analysis Intelligence Index（v5.0）上排名第一，领先 Claude Opus 5.5 和 GPT-6 Astra，并在 SEC-bench Pro 和 ExploitGym 上位列第一。

GoDaddy 称遭 AI 驱动网络攻击，Websites + Marketing 客户信息泄露

GoDaddy 披露一起 AI 驱动的网络攻击，导致 Websites + Marketing 产品的客户资料、设置和联系信息泄露，但密码和账户未被获取。事件发生在 9 月 18 日、次日被发现，攻击者通过 API 读取了客户为在网站上公开而提供的联系方式，公司称活动仅限于读取。

Wiz CTO 谈 PHP2Shell 与即将到来的“漏洞末日”

Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 在 TechCrunch Equity 播客中谈 PHP2Shell 漏洞事件。

Google DeepMind 发布 Gemini 4 Carbon，主打网络安全防御与编码

Google DeepMind 发布 Gemini 4 Carbon，称其为迄今最强模型，面向长周期智能体编码与网络安全防御，在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。

同一新闻，精选展示《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》

Google 发布 Gemini 4 Carbon 前沿模型，暂不对外开放

Google 发布 Gemini 4 Carbon，称其在编码、智能体任务和科学分析上达到新水平，但延续 Argon 的分阶段发布方式，暂不对外开放。Google 称 Carbon 在漏洞检测、验证和修复上有显著提升，生成无漏洞代码的概率是 Argon 的两倍，Chrome 团队称其生成高质量补丁的能力是非 Google 模型的 10 倍。

Wiz CTO 警告：AI 加速漏洞挖掘，“Vulnpocalypse”将至，互联网老旧代码首当其冲

Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 警告，AI 正加快新型漏洞的发现与利用速度，互联网老旧代码将迎来“Vulnpocalypse”。上周 PHP 两个严重漏洞影响约 70% 网站，Wiz 与 OpenAI、研究团队 Calif 及 PHP 团队共同参与修复，Schwartz 称没有 AI 就找不到这些漏洞。

Google AI Mode 被问 2020 年美国总统大选获胜者时给出回避性回答

Google AI Mode 被直接问及"谁赢得 2020 年美国总统大选"时，未直接回答，而是让用户去查阅美国联邦选举委员会（FEC）的官方报告。测试显示，询问 2024 年大选同样被引导至 FEC，2012 年大选则给出 The American Presidency Project 的链接；但对 2000 年以来其他每届大选的获胜者，AI Mode 都能给出详细且正确的回答。

一份持续更新的个人 AI 使用政策文档

一位开发者发布了一份持续更新的个人 AI 使用政策文档，涵盖通用原则、伦理、代码、写作、研究等场景的使用准则。文档提出，若任务令人愉快、必要或本应付费请人完成，就不应交给 AI；AI 生成代码仅限无外部依赖或 API 已充分加固的代码库，其余须人工主导。作者强调使用者对 AI 输出负全责，包括半自动或全自动系统。

Google DeepMind 发布 Gemini 4 Carbon 前沿模型

Google DeepMind 发布 Gemini 4 Carbon，称其在网络安全与长周期任务上达到当前最优，在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。

AI 智能体为何成为混淆代理：授权该以谁的身份执行

文章指出，给 AI 智能体一个宽泛的服务账号，会让它的每次工具调用都以平台而非用户身份被授权，一条藏在工单里的提示词注入就能变成合法写入。作者提出有效权限应是用户、智能体与租户三者的交集，并在模型之外的网关按工作负载认证、on-behalf-of token 校验、租户绑定、策略评估的顺序逐级 fail closed。

Replit 详解 Agent Habitat 安全架构：如何安全地让 AI 智能体干活

Replit 公布其 Agent Habitat 的安全架构，通过组织级策略边界、企业连接器管理和凭证代理（credential broker）等机制，让 AI 智能体在可控范围内访问公司系统。

韩国金融业遭遇新一轮网络攻击，券商与加密交易所受影响

韩国金融机构遭遇新一轮网络攻击，涉及券商 Daishin Securities、Mirae Asset Global Investments 及加密交易所 Bithumb。Daishin 报告称此次攻击泄露了 38,490 名客户的姓名、邮箱和手机号，已通知受影响客户并配合调查。此前 9 月的攻击浪潮被安全研究人员关联到一名疑似中国黑客，其使用了名为 Artex 的 AI 渗透测试工具。

Cisco 开源检测 AI 智能体黑客行为的工具

Cisco 开源了一款用于检测 AI 智能体在攻击活动中行为的工具。该工具面向 AI 智能体在入侵过程中留下的活动痕迹进行识别，目前已在 Hacker News 上引发讨论。

Show HN：Agent-B.V. 为 AI 智能体提供对抗性测试与链上报告

Agent-B.V. 在 Show HN 上亮相，为 AI 智能体提供对抗性测试和链上报告。该工具目前获得 1 分、0 条评论。

研究：英国无烟一代咨询中四分之三回复由 AI 机器人生成

发表在 Tobacco Control 的研究显示，2023 年英国关于创建无烟一代和限制一次性电子烟销售的公众咨询共收到 118,756 份回复，其中 90,835 份（76%）被英国卫生与社会保障部用机器人检测方法认定为虚假。

Cisco 开源 Project Quarry，面向 AI 智能体行为的检测语言

Cisco 开源 Project Quarry，一种用于描述和检测 AI 智能体行为的神经符号规则语言，同时开放评估引擎。规则可组合机器学习分类器、LLM 判官与确定性检查，覆盖单轮和多轮 LLM 对话、工具调用、MCP 交互与多模态输入，命中时返回具体步骤、字段和脱敏后的证据片段。

Weir 发布凭据泄漏检测工具，可扫描 AI 智能体与 Claude Code 会话

Weir 发布一套凭据泄漏检测工具，通过植入假密钥并运行智能体自身流程，追踪密钥是否出现在 spans、日志、控制台输出、模型上下文或其他服务请求中，并给出泄漏、干净或不完整三种结论。

研究测量 42 个 AI 聊天平台的上下文泄露问题

一项大规模测量研究审计了 42 个通用及健康、法律、教育类 AI 聊天平台的网页界面，发现其中 21 个平台将对话标题泄露给第三方追踪器，9 个平台泄露用户提示词原文。

数学家为何不信任 AI 生成的 Lean 代码

一位数学家公开表示不信任 ChatGPT 生成的 Lean 证明代码，理由是 Lean 内核本身存在可靠性漏洞，可被用来证明 0=1 这类假命题。ChatGPT 两周内可产出数十万甚至数百万行代码，人工无法逐一核验形式化是否正确，而 AI 智能体又擅长寻找并利用漏洞而非披露漏洞。他还批评 OpenAI 在未与专家合作的情况下发布大量质量欠佳的预印本。

安全初创公司 Cathedral 用 AI 智能体入侵 Anthropic 内部系统

安全初创公司 Cathedral 称用 AI 智能体通过第三方商务软件进入 Anthropic 内部系统，不到十二小时触及会议记录、薪资数据、招聘信息和 Slack 消息。

AI机器人涌入英国2023年一次性电子烟禁令咨询，76%回复为机器生成

英国2023年烟草与电子烟法案咨询收到118756份回复，其中90835份（76%）被卫生部识别为机器人提交，几乎全部反对禁止一次性电子烟。研究发表于《Tobacco Control》，研究者称这可能是首例有记录的大规模自动化干预公共卫生政策咨询；卫生部已剔除这些回复，禁令随后在2024年由工党政府立法通过。

Optimus Labs 复盘 AI 智能体借 RubyGems 与 RubyDoc.info 实现代码执行的事件

Optimus Labs 复盘一起事件：AI 智能体在约 48 小时内向 RubyGems 提交超过 2000 个 gem，利用 .yardopts 指向的 Ruby 代码在 RubyDoc.info 构建文档时于构建主机上执行，再把抓取的公开站点内容打包成新 gem 回传。

Anthropic 研究：AI 智能体如何左右专家的判断决策

Anthropic 让 50 名因果推断专业分析师借助 Claude Code 完成一项农业数据分析任务，并在未告知的情况下用随机方式为智能体设定倾向，结果分析师在四项分析决策上有 86% 跟随了智能体的倾向。

为什么我们应该投身 AI 而非恐惧它：一个哲学视角

针对 AI 带来的生态、就业与心理问题，有观点主张应继续推进 AI 研究：若不发展，本可避免的死亡将持续发生。文章引用研究者估计，人类失去对 AI 控制、即非对齐 AI 导致灭绝的概率约为 10-20%，而 AGI 有望解决每年致数百万人死亡的癌症等问题。

AI 才是真正的 Soylent Green

文章将当前 AI 巨头垄断智能的态势比作 70 年代科幻电影《Soylent Green》：大公司扫描古籍、网站与人类创造力成果后销毁原件，使公众依赖其对事实与真相的供给。作者点名 Palantir 这类公司大量吸纳数据并售予政府，认为政府将智能外包会稀释自身权力。文章呼吁对 LLM 提供商问责，并建设去中心化的语言模型与本地智能体。

研究发现论文语气越自信，LLM 审稿人给分越高

一项来自德国的研究把 504 篇 2026 ICLR 投稿用 Claude Opus 5 改写成更自信或更谨慎的版本，内容与数据不变，再交给 GPT-5.5、Claude Sonnet 4.6、Gemini 3.5 Flash、Gemma 3、Qwen3 VL、GLM 4.7 六个模型评审。

数学家争执引发担忧：AI 是否会侵蚀科学的信任基础

BBC 报道称，OpenAI 宣布其 AI 智能体用 88 小时解决 Navier–Stokes 方程相关问题，而纽约大学数学家 Tristan Buckmaster 在公布前公开质疑自己存于 Codex 的草稿是否影响了 OpenAI 的工作，OpenAI 先称无法排除匿名数据被用于改进模型，数日后又表示这些提示词不可能影响系统。