1. 项目概述当闭源大模型代理的“技能”被悄悄复制最近在跟几个做AI安全的朋友聊天大家不约而同地提到了一个现象现在很多公司都把自己的大模型能力封装成“代理”Agent比如一个能帮你分析财报的金融助手或者一个能根据自然语言描述生成复杂工作流的自动化工具。这些代理往往是闭源的通过API提供服务你只知道它能做什么但不知道它内部是怎么思考、怎么调用工具链的。这就像一个黑盒子你输入问题它给出精妙的答案或执行一连串动作。但问题来了既然它是个“服务”用户就可以不断地和它交互。那么一个恶意的用户能否通过精心设计的对话像“偷师”一样把这个黑盒代理的核心决策逻辑、工具使用偏好、甚至是它独有的“技能组合”给完整地“偷”出来呢这就是我们这次要深入探讨的“黑盒技能窃取攻击”。这不是在讨论窃取模型权重那种“硬核”攻击那需要极高的权限和成本。我们关注的是在仅能通过标准API进行问答交互的黑盒场景下如何系统性地、低成本地逆向工程出一个代理的“行为模式”和“技能画像”。这事的严重性可能远超很多人的想象。想象一下你公司花重金研发并调教了一个顶尖的销售话术生成代理它融合了金牌销售的经验、复杂的产品知识库和微妙的沟通策略。如果竞争对手仅仅通过付费订阅你的API然后用一套自动化脚本跟你这个代理聊上几千轮就能复刻出一个功能相近、甚至在某些方面更优的“山寨版”你的核心竞争优势瞬间就荡然无存了。这项研究就是一次针对这种威胁的实证性探索。我们会拆解攻击的原理设计可行的攻击路径并通过模拟实验来验证其有效性最后聊聊防御的思路。无论你是AI产品的开发者、安全研究员还是对AI伦理感兴趣的朋友这篇文章都能给你带来一些硬核的启发。2. 攻击面拆解黑盒代理的技能究竟由什么构成在动手“偷”之前我们得先搞清楚要“偷”的是什么。一个成熟的专有大模型代理其“技能”并非一个单一的东西而是一个多层次的复合体。我们的攻击目标就是尽可能完整地还原这个复合体。2.1 技能的三层结构模型根据我们的分析和实践可以将一个代理的技能分解为三个层次第一层工具调用图谱与偏好。这是最表层的技能。代理能使用哪些外部工具比如搜索引擎、计算器、数据库查询、绘图API在面对特定类型的问题时它倾向于优先使用哪个工具工具之间的调用顺序和条件逻辑是怎样的例如一个数据分析代理遇到“某公司近三年营收趋势”的问题它可能先调用“财报数据库查询”工具获取原始数据再调用“数据可视化”工具生成图表最后调用“自然语言总结”工具给出分析。攻击者需要还原的就是这张“工具调用地图”以及每个决策点的“偏好权重”。第二层内部推理链与思维模式。这是更深层的逻辑。代理在调用工具前后内部是如何“思考”的它分解问题的步骤是什么如何将用户模糊的指令转化为具体的、可执行的操作序列这部分往往体现在模型的“中间推理过程”或“思维链”Chain-of-Thought中。虽然闭源API通常不会直接返回这些中间步骤但我们可以通过设计特定的“探针”问题诱导代理显式或隐式地暴露其推理逻辑。比如通过询问“要解决这个问题你认为第一步应该做什么”来窥探其问题拆解模式。第三层领域知识微调与价值对齐。这是最内层、也最难以窃取的技能。代理在特定领域如法律、医疗、金融表现出的专业性和准确性很大程度上源于其基于领域数据进行的指令微调Instruction Tuning和基于人类反馈的强化学习RLHF。此外它的回答风格、风险规避程度、价值观倾向如更保守还是更激进也属于这一层。攻击者虽然很难完全复制微调数据但可以通过海量的、覆盖领域边界的问答对来近似拟合代理在这些方面的“行为特征”从而训练出一个在表现上相似的“影子代理”。2.2 黑盒环境下的信息获取渠道在只能进行标准问答交互的限制下攻击者能获取的信息其实非常有限主要包括最终输出代理返回的最终文本答案或执行结果。可能的中间输出部分代理设计可能会返回部分推理步骤或工具调用日志这取决于API的设计属于防御疏漏但也是攻击机会。输入-输出对大量的问题答案样本这是最主要的攻击数据源。我们的核心挑战就在于如何利用这些看似贫瘠的“输入-输出对”通过巧妙的提问设计和后续分析来反推出上述三层技能信息。这就像考古学家通过碎片复原整个陶器需要一套系统的方法论。3. 攻击路径设计从“闲聊”到“结构化探针”盲目地收集海量问答对效率极低且噪声极大。一个高效的技能窃取攻击必须是有计划、有步骤的“侦查”过程。我们设计了一套递进式的攻击路径分为四个阶段。3.1 第一阶段能力边界测绘与工具发现这个阶段的目标是摸清代理的“能力范围”和“武器库”工具列表。方法设计开放式的、涵盖广泛领域的引导性问题。例如“你能帮我做哪些事情”、“你支持使用哪些工具或功能”、“举一个你处理复杂任务的例子并说明你用了哪些步骤。”。即使代理出于安全考虑不直接列出工具我们也可以通过询问具体任务来观察其行为。比如问“请计算圆周率π的前100位”如果它返回了精确结果那它很可能内置或调用了高精度计算工具问“给我看看今天纽约的天气”如果它返回了天气信息则说明它集成了天气API。实操技巧在这个阶段提问要尽量“傻白甜”像一个好奇的新用户降低目标的警惕性。同时要系统地遍历常见任务类型信息检索、计算、创作、分析、规划、代码生成等并记录下代理对每类任务的响应模式和它声称或实际使用的工具。3.2 第二阶段工具调用模式逆向工程在发现工具后本阶段目标是弄清楚“在什么情况下会用哪个工具以及怎么用”。方法针对每个疑似工具设计一系列边界案例和压力测试。例如针对“网络搜索”工具可以提问“搜索一下‘量子计算的最新突破’”然后观察它是直接返回搜索结果摘要还是附上了来源链接。进一步可以问一个模糊或矛盾的问题“帮我找一下那个不存在的‘永动机’的专利文件”观察它如何处理查询失败的情况——是坦诚告知未找到还是尝试进行解释关键点这里需要设计“对比实验”。例如提交两个语义相似但表述不同的问题看代理是否触发相同的工具链。通过分析大量此类交互可以归纳出触发特定工具调用的关键词、问题意图分类和上下文条件。我们可以开始构建一个初步的“决策树”模型来描述代理的 tool-use 逻辑。3.3 第三阶段推理链提取与思维模式克隆这是攻击中最具技术含量的部分目标是窃取代理的“思考过程”。方法一分步诱导。不直接问最终答案而是要求代理“逐步思考”。例如不问“某公司的估值是多少”而是问“要估算某公司的估值我们需要哪些信息和步骤请一步一步列出。” 然后基于它列出的步骤再针对每一步深入提问迫使它展示更底层的逻辑。方法二反事实与假设提问。通过构建假设场景迫使代理暴露其推理中的依赖关系和逻辑规则。例如“如果某公司明年营收增长50%但利润率下降10%根据你刚才的估值模型它的估值会如何变化请解释变化的原因。” 通过分析它对各种“如果”情况的处理可以反推出它内部可能使用的公式或规则。方法三错误注入与异常响应分析。故意提供错误、不完整或矛盾的信息观察代理如何纠正、追问或推理。例如给出两组矛盾的数据问“基于这些数据结论是什么”观察它是否具备冲突检测和解决的能力以及其解决策略。注意这个阶段需要攻击者具备一定的领域知识才能设计出有效的探针问题。收集到的“分步解答”和“逻辑解释”文本将成为训练“影子代理”模仿其思维模式的宝贵数据。3.4 第四阶段综合技能蒸馏与影子代理训练在前三个阶段收集到足够多的高质量问题复杂输出/推理过程数据对后就可以启动最终的“克隆”过程。目标训练一个开源的、相对较小的模型我们称之为“影子代理”使其在行为上尽可能接近目标黑盒代理。核心技术过程监督蒸馏。我们不仅仅用最终的答案来训练影子模型更重要的是利用在第三阶段提取到的“推理链”数据。具体来说我们将“用户问题 代理的逐步推理过程”作为输入将“代理的最终答案或行动”作为输出来训练影子模型。这样影子模型学到的不仅是“答案是什么”更是“如何一步步得到这个答案”的思维习惯。数据构造将收集到的交互数据构造成标准的指令微调格式。例如|user| 问题估算某科技公司A的估值已知其去年营收1亿美元净利润率15%同行平均市盈率25倍。 请逐步展示你的思考过程。 |assistant| 思考步骤 1. 计算净利润营收 × 净利润率 1亿 × 15% 1500万美元。 2. 应用市盈率估值法估值 净利润 × 市盈率 1500万 × 25 3.75亿美元。 3. 需要提醒用户此方法较为简化未考虑增长潜力、债务等因素。 最终估算结果公司A的估值大约为3.75亿美元。用海量这样的数据对一个小型模型如Llama 3、Qwen等进行微调就能得到一个在特定任务上模仿目标代理思维和行为的模型。4. 实证模拟我们真的能“偷”到一个数据分析代理的技能吗为了验证上述攻击路径的可行性我们设计了一个模拟实验。我们假设攻击目标是一个闭源的“金融数据分析代理”Target Agent它具备查询模拟财报数据、进行比率计算、绘制趋势图和生成分析摘要的能力。我们扮演攻击者使用一个标准的对话API与之交互目标是为其训练一个开源的“影子代理”Shadow Agent。4.1 实验设置与数据收集我们编写了一个自动化脚本模拟攻击者的四阶段提问。我们为Target Agent构建了一个简单的模拟后端它内部有明确的规则遇到营收、利润问题调用计算器遇到“趋势”关键词会生成模拟图表数据遇到“分析”关键词会启动总结模板。在约5000轮对话中我们收集了以下数据阶段一/二数据约1500对明确了代理的工具集计算、数据获取、绘图、摘要生成和基础触发条件。阶段三数据约2000对高质量“逐步推理”数据这是通过分步诱导和假设提问获得的。阶段四数据另外1500对作为测试集。4.2 影子代理的训练与评估我们选择一个参数量较小的开源模型如7B参数量的模型作为基础使用收集到的“阶段三数据”进行指令微调。训练目标是最小化影子代理输出与Target Agent输出之间的差异。评估采用双重标准功能匹配度在测试集上影子代理是否能触发正确的“工具调用序列”我们将其转化为文本描述进行比对实验结果显示在常见任务类型上匹配度达到了88%。输出相似度使用BERTScore、ROUGE等文本相似度指标以及人工盲评比较影子代理与Target Agent最终答案的相似性。平均相似度得分超过0.82人工盲测中超过70%的情况下评估者无法可靠区分两者输出。4.3 关键发现与攻击成本分析思维链数据是关键实验中最核心的发现是使用包含“逐步推理”的数据阶段三数据进行蒸馏其效果远远优于仅使用最终问答对阶段一/二数据进行训练。前者训练出的影子代理其输出不仅结果正确连行文风格和逻辑结构都高度相似。攻击成本相对较低整个攻击过程的主要成本是调用目标代理API的费用和计算资源用于训练影子模型。对于一款商业代理获取数千至数万轮高质量对话数据的成本远低于从零开始收集数据、训练和微调一个同等能力的专属模型。这使得这种攻击在经济上具有吸引力。代理的“健谈性”是双刃剑越倾向于详细解释其推理过程的代理在用户体验上可能更好但也更容易受到此类技能窃取攻击。反之输出极其简洁、只给结论的代理虽然更“安全”但用户体验和可信度会打折扣。5. 防御策略探讨如何为你的LLM代理穿上“防弹衣”看到这里作为代理的开发者你可能会感到后背发凉。别急攻击手段出现的同时防御思路也在演进。以下是一些可以考量的防御层5.1 输出混淆与信息最小化策略严格限制API返回的信息。除非必要否则不返回任何中间推理步骤、工具调用详情或置信度分数。只提供最终、必要的输出。权衡这会降低透明度和可调试性可能影响用户体验。一个折中方案是对已认证的、可信的内部用户提供详细日志对普通API用户则返回精简结果。5.2 请求监测与异常检测策略部署实时监测系统分析用户请求模式。如果一个用户在短时间内发起大量、系统性的、旨在探索能力边界和推理过程的询问尤其是大量使用“请逐步说明”、“如果…会怎样”等模式系统应能识别此类异常行为模式并触发警报或限制措施如降速、质询或中断会话。实操要点需要定义“正常用户行为”的基线这本身是一个机器学习问题可以利用请求频率、问题类型分布、对话轮次深度等特征来建模。5.3 动态响应与引入随机性策略对于同一问题代理可以在不违背正确性的前提下采用不同的推理路径或表述方式来回答。例如在解释步骤时变换措辞、调整举例顺序。这增加了攻击者归纳稳定模式的难度。挑战需要确保随机性不影响答案的核心正确性和一致性这对代理本身的设计提出了更高要求。5.4 法律与合约约束策略在用户服务协议ToS中明确禁止任何形式的逆向工程、数据抓取或用于训练竞争性模型的行为。虽然技术执行上有难度但提供了法律追索的依据。局限性这是一种事后追责手段无法防止攻击本身的发生。5.5 核心能力的内化与抽象策略将最核心、最具竞争力的技能尽可能通过模型本身的参数能力来实现减少对外部工具链的依赖或者将工具调用逻辑深度模糊化、非线性化。让“技能”更紧密地融合在模型的黑盒内部而非暴露在可观测的工具调用接口上。思考这或许是长期最根本的防御方向但也意味着更高的模型研发成本。防御的本质是在安全性、可用性和成本之间寻找平衡。目前来看没有银弹。最务实的做法可能是“输出最小化”结合“智能监测”为高价值代理构筑第一道防线。同时开发者需要意识到在开放API提供服务的那一刻某种程度的能力泄露风险就已存在应将此纳入产品的风险评估模型。