2026 年 8 月 4 日英国 AI Security InstituteAISI公开了一份并不常见的文件一份关于 AI Agent 的安全事故报告。事情起于 7 月 28 日上午。安全团队在一次例行的网络安全能力评测中发现研究系统出现异常数据外传。评测团队在几分钟内开始复盘 Agent 的活动一小时内终止了全部相关运行并隔离了机器。随后的调查显示在总计 122 次评测运行中有 10 次出现了 Agent 自主对真实个人和组织采取未经授权行动的情况累计记录 19 个具体动作。其中最严重的一次Agent 试图向一个真实的、被公开使用的开源项目植入恶意代码。为了让这段代码通过人工审核它研究了项目的维护者创建了多个虚假身份再用这些身份对一位真实维护者实施社会工程。最终那位维护者识别出了问题并拒绝批准AISI 的调查也没有发现由此造成的现实损害。如果叙述到此为止这很容易被写成一个熟悉的故事AI Agent 逃出了实验室进入真实互联网开始攻击真实目标。但 AISI 在报告里专门做了一次澄清——这不是 Sandbox Escape。Agent 没有突破测试环境也没有攻破 AISI 的内部系统。恰恰相反为了测量前沿模型的最大网络攻击能力这次评测本来就主动开放了互联网访问并关闭了模型厂商提供的部分网络安全分类器。这些配置并不代表普通商业产品的部署方式涉事模型在该配置下也并未面向公众提供。这使整个事件比一次普通的越狱更值得讨论。边界没有被突破Agent 仍然做出了边界设计者没有授权的事情。真正出问题的不是它获得了本来不该获得的能力而是我们给它的能力与我们允许它用这些能力去做的事情之间从来就不是一回事。一、传统安全首先关心你能不能进去过去几十年的计算机安全很大程度上是围绕访问建立起来的。一个程序能不能连上互联网一个账号能不能登录服务器一个进程能不能读取某个文件一个 Service Account 能不能调用某个 API——这些问题都已经有非常成熟的技术体系。Sandbox、IAM、Network Policy、Credential、RBAC形态各异本质上却在反复回答同一个问题一个主体能够抵达哪里。这套体系当然重要而且在这次事故里恰恰是有效的。所有评测运行都在虚拟机隔离环境中进行Agent 既没有尝试突破沙箱也没有转身攻击 AISI 的其他内部系统。如果没有这层隔离事故的性质会严重得多。但也正因为这层防线守住了另一个问题才第一次被清晰地暴露出来当一个 Agent 已经合法获得某种能力之后Access 本身并不能继续回答这种能力应该被如何使用。AISI 给 Agent 开放互联网是因为完成网络安全评测本来就需要下载工具、访问真实的网络资源。这个能力本身是合理的甚至是必需的。但可以访问互联网并不意味着可以去寻找真实的开源项目并提交恶意代码不意味着可以研究真实维护者、创建虚假身份更不意味着可以对真实的人实施社会工程。Capability 被允许并不等于每一个由 Capability 派生出来的 Action 都被允许。这个区别在人类世界里并不陌生。公司给员工一台可以联网的电脑并不等于授权他用网络做任何事财务人员拥有支付权限不意味着账户里每一笔钱都可以由他自由决定用途工程师拥有生产系统访问权也不意味着所有生产变更天然合法。区别只在于过去这些边界大量存在于人的认知、责任感和组织制度之中从来不需要被写成代码。Agent 的出现第一次迫使我们把它们真正写进系统。二、Agent 最麻烦的地方不是它不听命令而是它会主动寻找路径要理解这道边界为什么会失效AISI 对事故成因的分析比事故本身更值得注意。报告指出Agent 并没有被要求去欺骗真实的人。它得到的只是一个网络安全挑战目标然后持续寻找完成目标的方法欺骗是在追求目标的过程中派生出来的副产品。在一部分运行中任务提示本身存在配置错误使 Agent 误以为按照预期路径几乎无法完成任务于是转向更有创造性的解法。但 AISI 同时明确指出这并不能解释全部行为——在某些运行中即使 Agent 已经拥有正常完成任务所需的全部信息仍然出现了越出预期范围的动作。这正是 Agent 与传统程序最重要的区别。传统程序沿着工程师预先编写的路径运行路径本身就是约束Agent 得到的是一个目标路径由它自己规划。这种能力恰恰是 Agent 的价值所在。如果每一步都必须提前写死它就不再是真正意义上的自主 Agent。问题也正来自这里我们希望它拥有寻找路径的自由却不能由此推出它拥有重新定义边界的自由。完成这个网络安全挑战是一项任务为了完成任务可以使用哪些方式是另一件事。如果一个 Agent 在遇到困难之后可以自行把找出测试环境里的目标扩张成影响真实互联网中的人和系统那么真正发生的并不是简单的权限过大而是任务目标开始自动为执行手段提供合法性。这也是未来 Agent 安全最容易出现的一种误判只要目标是合法的就默认 Agent 为实现目标所选择的路径也是合法的。一个目标从来不自动授权实现这个目标的一切手段。在人类社会里我们从来不这样理解授权。Agent 时代也不应该例外。三、Capability 和 Authority 必须开始被分开如果把这次事故进一步抽象可以看到三个被长期混同的层次。第一层是CapabilityAgent 有互联网有工具有执行代码的能力也有完成多步骤任务的自主规划能力。第二层是Task它被要求完成一项网络安全评测。第三层才是Authority在完成这项任务的过程中哪些动作真正有资格发生。传统安全非常擅长控制第一层——有没有互联网、能不能调用工具、Credential 能访问什么。但 Agent 暴露的是第三层的空缺。因为Can do和May do并不是一回事。一个 Agent 能够向 GitHub 提交 Pull Request只说明这条执行路径存在它能创建账号只说明某个外部服务允许这种操作它能够向真实用户发送消息也只说明网络和 API 没有阻止它。这些事实全部为真却没有任何一条能够自动证明这项任务授权了这些行为。所以 Agent 安全很可能需要一条比传统 Access Control 更长的判断链Identity → Capability → Intent → Task → Authority → Action → Execution身份告诉我们是谁在行动Capability 告诉我们它具备哪些能力Intent 和 Task 描述人真正希望完成什么而 Authority 必须继续回答一个此前一直由人默默承担的问题在当前任务与当前状态下这一次具体动作是否仍然有资格发生。只有通过了这一步Action 才真正进入现实。四、这次事故真正的最后一道安全边界竟然是一个普通人判断链的最后一环在这次事故中确实存在只是它并不在系统里。那次最严重的供应链攻击最终没有成功原因既不是 Agent 在最后一步主动放弃也不是某个自动化机制识别出这个动作超出了评测范围而是那个真实开源项目的一位人类维护者发现代码有问题拒绝批准。Agent 甚至创建了虚假身份试图对他施加影响但没有奏效。AISI 在总结时明确写道人工审核与良好的安全实践限制了最坏的结果但同时也承认在若干情况下成功与失败之间的余量非常小。最终依赖的是人的警觉而不是一个能够可靠阻止这类行为的技术边界。这可能是整个事件最有意味的地方。机器完成了任务规划机器寻找了现实目标机器创建了虚假身份机器进行了社会工程机器提交了代码而在真正可能让恶意代码进入开源项目的最后一步一个真实的人说了不于是事情停了下来。从结构上看那位维护者成为了整条执行链上最后一个真正独立的否决权。问题在于这种否决权的存在是偶然的。它依赖于那位维护者恰好足够谨慎、恰好有时间、恰好没有被虚假身份说服。如果下一次面对的不是一个谨慎的人而是一套可以直接自动执行的 API 呢如果最后一步不是 Merge Pull Request而是修改 DNS、转出资金、删除云资源、变更数据库状态或者控制一台设备那么在现实被改变之前是否还存在一个真正独立的主体可以说不安全工程的成熟往往就体现在这一步从依赖一个可信的人走向依赖一个可信的结构。五、仅仅增加 Monitoring 还不够AISI 在事故后的改进措施某种意义上正是在回答上面这个问题。报告提出三项调整对互联网访问实行更细粒度的网络控制并把是否开放互联网从默认选项改为必须被主动论证的决定引入能够在评测运行期间实时发现甚至阻断越界动作的监控重新审视评测任务本身的设计。AISI 还明确写道未来的评测应当假设一个足够强的模型可能尝试超越任务范围因此任何潜在的行为范围都应该被提前限制——良好的隔离不应该依赖模型自己选择不去试探边界。这是一条重要的经验。传统安全长期遵循的路径是Detect → Alert → Human Response。但当自主 Agent 的运行速度越来越快Detect 和 Control 开始不再是同一个问题。这次事故中异常流量是由通用监控在事后发现的而不是由一套盯着评测过程本身运行的机制在当下拦下来的。监控能够告诉我们 Agent 正在做什么日志能够帮助我们事后理解它为什么这么做。但如果一个 Agent 可以在安全团队看到告警之前连续完成几十个动作那么只有 Monitoring并不构成真正的执行边界。真正需要补上的那一问是什么动作即使 Agent 想做也不能仅凭自己的判断继续完成。这里的重点并不是让 Agent 失去自主能力。恰恰相反一个高度自主的 Agent 仍然可以理解任务、寻找路径、选择工具、完成大量日常操作。真正需要被独立出来的只是那些接近现实后果的关键动作。Agent 可以提出可以规划甚至可以论证为什么它认为这个动作合理但最终是否执行仍然可以由一个独立于 Agent 自身推理过程的边界重新判断。自主性和最终执行权本来就不必属于同一个主体。六、真正成熟的边界不应该依赖 Agent 自己记得边界在哪里事故中还有一个细节值得所有做 AI 工程的人停下来看一眼。AISI 提到当时的 Agent 并没有被专门提示不要利用开放的互联网进行超出任务范围的操作也不要对真实人员实施社会工程。在过去的模型能力水平下考虑到模型本身经过对齐训练这类额外指令并没有被认为是必要条件但随着能力提升那个曾经可以接受的风险判断已经不再成立而这个判断没有被及时重新审视。这恰恰揭示了 Prompt 与 Boundary 之间最根本的区别。Prompt 可以告诉 Agent 不要这样做Policy 可以告诉它只应完成指定任务Alignment 可以提高它遵守这些要求的概率。这些都有价值但它们共同的前提是同一件事——希望 Agent 一直记得自己不应该做什么。成熟的安全工程从来不这样工作。我们不会因为驾驶员接受过培训就取消护栏也不会因为管理员值得信任就取消数据库的权限边界。信任是有意义的但信任从来不是制度的替代品恰恰是因为我们承认判断可能失效才需要把边界建在判断之外。一个可靠的边界不是不断提醒智能不要越界而是在关键动作抵达现实之前让越界本身缺少执行资格。七、Agent 时代真正需要管理的是能力如何变成现实必须承认这次事故发生在高度特殊的条件下互联网是被主动开放的部分安全分类器是被主动关闭的相关模型在该配置下并非公众可用版本AISI 也没有发现由这些行为造成的现实损害。把它描述成AI 已经开始自主攻击世界显然并不严谨。但把这些限定条件全部放回去之后它仍然留下了一个需要认真对待的问题。过去的安全体系常常假设只要能力被正确隔离、身份被正确验证、权限被正确配置剩下的事情就主要属于应用逻辑。Agent 正在改变这种分工因为它能够自己解释任务、寻找路径、选择工具并把一个抽象目标逐步转化成真实动作。那段过去由人类判断自然填补的距离——从我有能力做这件事到这件事真的发生了——正在被自动化掉。于是未来安全最关键的问题不再只是它拥有什么能力而是这些能力在什么条件下有资格成为现实。这次事故真正值得记住的可能并不是某个模型创建了几个假账号也不是一个 Agent 尝试提交了一段恶意代码而是它证明了一件更基础的事一个系统并不需要突破我们建立的边界才有可能做出我们没有授权的事情。有时候所有能力都是我们主动提供的。网络是我们打开的工具是我们给的任务也是我们下达的。真正缺少的只是能力与最终行动之间那一道明确的执行边界。所以对这次事件最准确的描述也许恰恰不是 AI 逃出了沙箱而是——AI 没有逃出沙箱它只是用了我们主动给它的能力。