一、样本与对抗样本
- 样本：样本是正常输入数据；
- 对抗样本：对抗样本则是经过精心设计、用来诱导 AI 模型生成错误输出的扰动数据，攻击者向样本中添加人类难以察觉的微小扰动，生成能够绕过防御检测机制并让 AI 模型输出错误结果的样本。
- 对抗样本存在的根因：现实中的问题和答案难以被精准定义。现实问题的边界是模糊的，但 AI 分类的边界必须是明确的，这一“必须明确”制造出可被利用的缝隙，导致部分样本被分错类。例如一幅画中，交界处的颜色无法被精准归类，人和 AI 都会犯难。
二、对抗性训练
对抗性训练：往训练数据集里添加精心构造的对抗样本，让模型对输入数据扰动的抵抗力变强，因对抗攻击而做出的错误判断随之减少，模型的稳定性与安全性同步提高。
通俗类比是「接种疫苗」提升对扰动的免疫力，让模型在安全可控的环境下提前遇到精心伪造的样本，学会识别与防范对抗样本。核心目标：提升模型对恶意干扰的鲁棒性。
三步流程：
- 准备原始样本：收集高质量的标注数据集作为原始样本，确保模型具备良好的初始识别能力；
- 添加扰动得到对抗样本：用对抗攻击算法在原始样本的基础上把对抗样本生成出来。这类样本身上带着人眼难以察觉的细微扰动，语义保持不变，却足以误导模型给出错误结果；
- 混合数据并用于训练得到增强模型：把对抗样本与原始样本按比例混合（如 1∶3）重新训练模型。模型在训练过程中不断遇到对抗样本的干扰，慢慢把核心特征和正确标签联系起来；这个过程优化了权重，让模型能够正确分类对抗样本。
三、对抗攻击的分类
条件 | 攻击者掌握的信息 | 典型手法 | 难度与成本 | 现实对应场景 |
白盒 | 模型内部全部架构与参数 | 建模“最小化扰动”的优化问题，直接求解扰动 | 低（可精确计算） | 开源模型权重下载、模型文件泄露、内部人员 |
灰盒 | 部分知识（如架构或训练数据分布） | 结合先验知识缩小搜索空间 | 中 | 公开技术报告、论文披露的模型结构 |
黑盒 | 无内部知识，仅有输入输出反馈 | 查询探测、“听声辨位”式迭代逼近边界 | 高（需大量查询） | 商用 API、对外提供的模型服务 |
紧预算 | 受计算开销与查询次数限制 | 在有限查询内完成攻击，常配合迁移攻击 | 最高 | 有速率限制、有调用审计的生产接口 |
四、对抗攻击和越狱攻击
对比维度 | 对抗攻击 | 越狱攻击 |
攻击对象 | 判别式模型（图像分类、识别、检测等） | 生成式大模型（LLM 及多模态大模型） |
攻击目标 | 让模型产生错误分类或错误识别结果 | 绕过安全对齐，生成有害、违法或违反道德的内容 |
输入形态 | 像素级扰动、音频扰动、文本替换等机器可辨但人难察觉的改动 | 自然语言话术、角色设定、语言与编码变换 |
是否改动 AI 系统 | 不改动系统，只构造输入样本 | 不改动系统，只构造提问方式 |
技术门槛 | 较高，白盒需梯度与优化能力 | 较低，会写提示词即可尝试，故扩散更快 |
关注焦点 | 是否存在没模拟好的分类边界、是否有被误判的对抗样本 | 是否能绕过安全对齐等限制 |
典型后果 | 识别错误引发事故、审核被绕过、身份核验失效 | 输出违禁内容、提供危险操作指引、合规与声誉风险 |
防御重点 | 对抗训练、输入净化、多模型交叉校验、置信度阈值与拒识 | 系统提示加固、意图级检测、输出侧复核、越狱用例回归 |
五、常见的对抗性攻击方法
1、基于梯度的攻击：
- 快速梯度符号法（FGSM）：计算输入的梯度，并沿梯度方向对输入进行微小扰动，以最大程度影响模型预测结果。
- 投影梯度下降法（PGD）：对 FGSM 的多次迭代改进，确保每次扰动后将样本投影回合法空间，实现更强攻击效果。
2、生成对抗网络（GAN）生成对抗样本：
通过训练生成器和判别器对抗，生成器学习到如何生成能欺骗目标模型的样本，迫使模型无法做出正确判断。
3、面向不同模态的对抗样本：
- 图像：对像素值进行细微调整，干扰模型的图像分类。
- 文本：增加同义词替换，利用语言模型对词汇替换的不敏感性进行攻击。
- 音频：在信号中添加微弱噪声，欺骗模型的语音识别系统。
六、对抗性防御策略
1、对抗性训练：
最有效的方法之一。在训练过程中引入对抗性样本，使模型能识别并正确处理攻击性输入。
基本流程：先生成对抗性样本，再将其与原始训练数据一起用于模型训练，提高对攻击样本的鲁棒性。
2、梯度掩蔽：
隐藏或扰乱模型的梯度信息，使攻击者无法通过梯度有效找到攻击方向。可通过在训练中增加噪声或对梯度进行裁剪，降低基于梯度的攻击成功率；但可能对模型性能和可解释性产生负面影响。
3、输入检测与数据预处理：
输入送入模型前先检测，通过分析输入特征异常性识别可能的对抗性样本；同时用数据预处理技术（如图像去噪和文本正则化）减少扰动影响。
七、局限性与挑战
对抗性训练的代价：对训练资源需求很高，防御效果对新的攻击方法可能不具备普遍性；可能导致模型对特定攻击类型过度拟合，对未见过的攻击方式缺乏足够防御能力。
梯度掩蔽的局限：往往降低模型可解释性，且攻击者可采用零阶优化或黑盒攻击规避其影响，防御效果受限。
八、常见的安全场景
1、描述对抗攻击难以从源头上规避的原因，有什么办法能增强 AI 对对抗攻击的“免疫力”？
答：难以从源头规避，是因为对抗样本源于“现实问题的语义边界无法被精准定义，而分类器必须输出确定边界”这一结构性矛盾：只要存在明确决策面，就存在紧贴决策面的可翻转样本。因此正确目标不是消灭对抗攻击，而是提高攻击成本、降低误判后果、增强可检测性。
- 计算机把图片、文字转换为 0 和 1 的代码串，与人类理解形式不同，所以“人看起来一样”的两个输入在模型空间可以相距很远。
- 白盒条件下攻击被建模为最小化扰动的优化问题，只要模型可微、参数已知，扰动就能被算出来，这是方法论层面的必然，不是实现缺陷。
- 黑盒条件下攻击依然成立（只能听声辨位也能命中），说明即使不泄露参数，仅靠查询反馈也能逼近边界，因此“保密模型”不构成有效防线。
落地建议：
- 模型层：开展对抗训练（把对抗样本纳入训练集）、输入变换与随机化（随机缩放、裁剪、量化，破坏扰动的精确性）、多模型集成与异构架构投票、设置置信度阈值与拒识机制（低于阈值转人工）。
- 系统层：查询限速与异常查询检测（识别黑盒探测行为）、输入格式与编码校验、输出侧交叉校验（识别结果与业务规则冲突即拦截）、灰度发布与快速回滚。
- 运营层：把对抗样本纳入红队常规测试项、建立误判申诉闭环反哺训练、监控输入分布漂移、对第三方模型与 API 执行同等鲁棒性验收。
- 设计原则：让“模型错了”不等于“系统崩了”，通过冗余判据与人工兜底，把单点误判的后果限制在可接受范围内。
