LLM Agents Should Employ Security Principles (AgentSandbox)论文重点这是一篇立场论文position paper核心主张是将信息安全管理领域沉淀了五十年的经典设计原则——纵深防御、最小权限、完全中介、心理可接受性——显式地引入 LLM Agent 的系统设计中而非继续以“打补丁”的方式修补提示注入和上下文操纵漏洞。作者提出了 AgentSandbox 概念框架通过持久/临时代理分离、数据最小化器、I/O 防火墙和响应过滤器等组件将这些原则操作化为具体的系统架构。在 SOTA LLM 上的评估表明AgentSandbox 在良性效用和对抗性效用两个维度上都保持了较高的任务完成能力同时显着降低了隐私泄露风险。核心研究内容问题定义LLM Agent 正从演示环境走向真实业务场景——管理个人财务、规划行程、提供医疗建议、编排客服工作流。但当前的防御手段存在系统性缺陷即使是最先进的 LLM在面对提示注入攻击时仍有约 85% 的失败率而释义、访问限制、工具过滤、数据分隔符、注入检测等缓解措施的保护效果均有限。更关键的是LLM Agent 的推理复杂性使得攻击者可以利用未被预见的弱点——汙染记忆或知识库、引入恶意工具、通过精心构造的上下文操纵诱导越权信息披露。根本问题在于LLM 系统中代码与数据的边界是模糊的自然语言既是输入数据也是指导 Agent 行为的“指令”。当 Agent 同时具备长期记忆、工具调用权限和外部通信能力时仅靠提示词层面的约束无法构成可靠的信任边界。创新方法论文的核心创新不在于发明新的攻击或防御算法而在于将经典安全工程原则系统地映射到 LLM Agent 的架构设计中。作者选择了 Saltzer 和 Schroeder 在 1975 年提出的四项经典原则作为理论锚点纵深防御Defense-in-Depth在 AgentSandbox 中体现为代理角色的架构性分离。系统将用户代理拆分为持久代理PA和临时代理EA。PA 持有用户的长期画像和 PII绝不直接与外部服务通信EA 为每个任务单独实例化仅处理该任务所需的最小上下文任务完成后立即终止。这意味着即使某个 EA 被提示注入攻陷恶意影响也被限制在单次任务会话内不会汙染持久状态或影响后续任务。与此同时数据最小化器DM的自适应策略优化与 I/O 防火墙的固定规则约束形成互补DM 在效用与隐私之间动态学习最优的信息释放策略而 I/O 防火墙作为硬性底线保证自适应层的任何误判都不会导致根本性安全违规。最小权限Least Privilege通过 EA 的一次性生命周期和 DM 的细粒度数据过滤来实现。每个 EA 启动时对用户个人信息“一无所知”任何信息都必须经过 DM 的审批才能流入 EA。当 DM 判断某次信息释放的隐私风险无法被效用增益合理补偿时系统不会简单地拒绝而是触发 human-in-the-loop 机制要求用户对此次披露进行显式授权。这种设计避免了静态访问控制“要么过严、要么过宽”的困境。完全中介Complete Mediation要求每一次对受保护资源的访问都被检查而非仅检查首次访问。AgentSandbox 中DM 和响应过滤器RF控制内部数据流I/O 防火墙控制所有外部通信。I/O 防火墙拦截每一个进入的提示和每一个外发的响应输入端将外部内容转换为结构化的任务特定表示强制执行预定义的命令模式输出端检查每个响应是否包含未授权的敏感数据。心理可接受性Psychological Acceptability回应了一个被安全工程反复验证的教训过于繁琐的安全机制会被用户绕过或直接关闭。Robert Morris 的三条“确保计算机安全的规则”——不拥有计算机、不打开它、不使用它——精准地讽刺了这一点。AgentSandbox 通过奖励建模策略引擎自动优化数据共享策略在保持安全约束的同时最小化对用户体验的干扰使安全机制“隐形”地嵌入任务流程中。研究成果论文在 SOTA LLM 上从三个维度进行了评估良性效用正常任务完成能力、攻击效用对抗条件下系统的抵抗表现、攻击成功率ASR。核心结论是AgentSandbox 在良性和对抗性评估中都维持了较高的任务效用同时实质性降低了隐私风险。论文的具体数值如不同 LLM 下的 ASR 降幅、效用损失比例未在摘要中完整披露需查阅论文正文的评估章节获取精确数据。但从评估维度的设计可以看出作者关注的是安全性与可用性之间的帕累托改进而非以牺牲效用为代价换取安全。技术细节AgentSandbox 的五组件架构AgentSandbox 的架构可以理解为对“一个 Agent 做所有事”这一默认模式的系统性替代方案持久代理PA是用户信任的唯一锚点。它管理长期画像、偏好和 PII负责任务编排和最终结果的整合。PA 不与外部世界直接交互它的“对外接口”是 DM 和 RF。数据最小化器DM是内部数据流的守门人。它拦截 PA 向 EA 的输出基于细粒度访问策略决定哪些信息可以释放。DM 的关键设计是结果驱动的策略优化策略不是人工静态编写的而是通过奖励建模引擎从交互中学习。奖励函数平衡效用与安全DM 根据 EA 的实际任务表现动态调整信息释放的宽严程度。临时代理EA是任务执行的“一次性容器”。每个任务实例化一个独立的 LLM 实例仅接收 DM 批准的最小上下文通过与外部服务交互完成任务任务结束后即终止。EA 的生命周期短暂性本身就是一个安全机制被攻陷的 EA 无法将恶意指令持久化。I/O 防火墙执行完全中介原则。在输入端它将外部内容翻译为结构化的任务特定表示强制执行预定义的模式在输出端它检查每个响应是否泄露敏感信息或违反通信策略。响应过滤器RF在 EA 完成任务后、结果被 PA 整合前对 EA 生成的响应进行净化和验证。这是纵深防御的最后一道内部防线。如何将安全原则“操作化”论文的一个重要贡献是展示了抽象安全原则如何转化为具体的 Agent 系统设计决策。以“纵深防御”为例AgentSandbox 同时部署了自适应层DM 的奖励建模策略引擎和静态层I/O 防火墙的固定规则。自适应层追求效用与安全的动态最优但它可能犯错或被绕过静态层不追求最优只保证底线。两层之间没有依赖关系即使 DM 的策略出现灾难性误判I/O 防火墙仍然会执行硬性约束。这种“学习型组件 规则型组件”的异构冗余比同质的多层检测器提供了更强的鲁棒性保证。研究设定论文的评估在概念框架层面进行不涉及特定的生产环境部署。威胁模型设定为用户及其直接输入是良性的但外部服务或工具可能被攻陷向用户 Agent 返回嵌入恶意指令或欺骗性信息的数据。防御者拥有对用户个人 Agent 的完整控制权可以修改其内部逻辑、提示词、策略模块和交互协议。评估使用的 LLM 为 SOTA 模型具体型号未在摘要中列出。从论文的设计意图来看AgentSandbox 是一个概念框架而非完整实现其价值在于论证设计原则的可行性而非提供一个即插即用的库。后续工作若要将其实践化需要将 PA/EA 分离、DM 策略引擎、I/O 防火墙等组件具体实现为可运行的代码并在真实或模拟的 Agent 任务环境中进行端到端验证。综合分析这篇论文的价值需要放在 LLM Agent 安全研究的整体格局中理解。当前该领域存在一种“军备竞赛”的倾向新的攻击方式出现研究者设计新的检测器或过滤器来应对攻击者再寻找绕过方法。论文的作者选择了一条不同的路径——不追逐具体的攻击模式而是改变系统的底层设计假设。这个选择的合理性在于如果 Agent 架构本身不区分“谁持有敏感数据”和“谁与外部交互”那么无论提示词工程多么精巧、检测器多么先进信息的流动路径始终是敞开的大门。PA/EA 分离的本质是在架构层面引入信息流的物理隔离而不是在语义层面试图“教会”模型判断什么信息该说不该说。论文的局限也同样值得审视。首先作为一个概念框架AgentSandbox 的性能尚未在真实的生产级 Agent 工作流中得到验证。EA 的一次性实例化意味着每个任务都需要重新建立上下文这在需要多轮协商或状态累积的复杂任务中可能带来显着的延迟和 token 成本。其次DM 的奖励建模策略引擎需要学习策略但论文未披露训练数据的来源、策略收敛的条件以及面对分布外任务时的泛化能力。第三“心理可接受性”在实际部署中是最难量化的原则——human-in-the-loop 授权虽然比“一刀切拒绝”更友好但频繁的授权弹窗本身就可能构成心理负担。另一个值得讨论的点是与 MCP 和 A2A 等新兴 Agent 协议的关系。论文指出这些协议主要处理认证、传输安全和授权等底层安全功能对上下文操纵和隐私泄露的防护较弱。AgentSandbox 的原则可以作为这些协议的上层安全语义嵌入例如MCP 的 Tool 调用可以经过 I/O 防火墙的完全中介A2A 的 Agent 间通信可以遵循 DM 的最小权限策略。这种“协议 原则”的分层思路比在协议层内重建安全机制更加务实。实践应用对于正在构建或部署 LLM Agent 系统的工程团队这篇论文提供了几条可直接借鉴的设计约束在架构层面分离“记忆持有者”和“对外执行者”。如果你的 Agent 同时拥有长期记忆和外部工具调用权限考虑将架构拆分为一个隔离的 Profile Agent不暴露给外部世界和一组一次性 Task Agent仅接收任务所需的最小数据。这个分离不需要完全照搬 AgentSandbox 的五组件设计但“谁持有敏感数据、谁与外部通信”的边界应当在架构图中清晰可见。为信息释放设置“默认拒绝 显式升级”的流程。不要让 Task Agent 在启动时获得用户画像的完整副本。设计一个数据最小化层它理解任务上下文只释放与当前任务直接相关的字段。当任务确实需要超出常规范围的信息时触发用户显式授权而不是依赖 Agent 自行判断。部署 I/O 防火墙作为硬性中介。所有进出 Agent 的外部通信都应经过一个独立的代理层该层不依赖 LLM 的判断而是基于结构化模式和规则来执行约束。这个防火墙可以是简单的 schema 验证器检查输出是否包含特定模式的 PII也可以是更复杂的通信协议强制层。关键是它独立于 Agent 的“智能”不受提示注入的影响。将“心理可接受性”作为安全设计的约束条件而非事后考量。安全机制如果让用户感到繁琐就会被绕过。在设计授权流程时考虑哪些披露可以基于任务上下文自动批准低风险、高必要性哪些需要用户确认高风险、低必要性。目标是让安全机制在大多数情况下“隐形”只在真正需要用户做决策的时候才出现。参考资料来源原始论文Kaiyuan Zhang, Zian Su, Pin-Yu Chen, Elisa Bertino, Xiangyu Zhang, Ninghui Li.LLM Agents Should Employ Security Principles. arXiv:2505.24019 [cs.CR], 2025. https://arxiv.org/abs/2505.24019OpenReview 页面https://openreview.net/forum?idXR9UpqWhmTSemantic Scholar 引用记录https://www.semanticscholar.org/paper/089938febf54aad46e36234f5e1052b5d24339ad