ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

BadToken: Token-level Backdoor Attacks to Multi-modal Large Language Models

BadToken: Token-level Backdoor Attacks to Multi-modal Large Language Models

以下是对论文《BadToken: Token-level Backdoor Attacks to Multi-modal Large Language Models》的总结及指定部分的翻译:

文章主要内容总结

核心贡献
  1. 首次提出Token级后门攻击:针对多模态大语言模型(MLLMs)设计了两种新型攻击行为:

    • Token替换:将输出中的特定源token(如"red")替换为目标token(如"green")
    • Token插入:在输出末尾插入恶意token序列(如钓鱼链接)
  2. 优化框架:

    • 提出结合有效性损失(最大化攻击成功率)和实用性损失(保持模型性能)的优化目标
    • 通过影子数据集训练实现触发模式与攻击行为的绑定
  3. 防御验证:

    • 测试了微调(Fine-tuning)和输入净化(Zero-shot Image Purification)等防御方法的局限性
    • 发现Token替换攻击对微调具有较强抗性
关键发现
  • 在LLaVA和MiniGPT-4等模型上实现了95%以上的攻击
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进