01学习目标
- 识别直接/间接提示注入
- 为 Agent 设计最小权限与人工确认
- 了解水印与隐私训练
建议先学：Agent：工具调用、MCP、规划与记忆
02站内正文
03要掌握的算法
每张卡都有原始论文、前置和学习资料。
对抗样本（FGSM）Adversarial Examples (FGSM) 在输入上加人眼几乎看不出的扰动，就能骗过模型。 2014核心 GCG 通用越狱攻击GCG Universal Jailbreak Attack 自动搜索一段“乱码后缀”，让对齐过的模型输出有害内容。 2023核心 间接提示注入Indirect Prompt Injection 把恶意指令藏进网页、邮件或文档，借模型之手执行。 2023核心 自动化红队Automated Red Teaming 用一个语言模型去生成攻击提示，测试另一个模型。 2022核心 大模型文本水印LLM Watermarking 生成时暗中偏向一组“绿色”词，事后可统计检测 AI 文本。 2023核心 差分隐私 SGDDifferentially Private SGD (DP-SGD) 训练时裁剪每个样本的梯度并加噪声，保证不泄露个体数据。 2016扩展 潜伏后门与欺骗性对齐Sleeper Agents (Backdoors that Persist) 植入后门的模型能在安全训练后依然保持隐藏的恶意行为。 2024扩展 成员推断攻击Membership Inference Attacks 判断某条数据是否被用来训练过模型，用来衡量隐私泄露。 2016核心
04必读论文
- Explaining and Harnessing Adversarial Examples ↗2014 ✓ 已核实 在必读经典里
- Universal and Transferable Adversarial Attacks on Aligned Language Models ↗2023 ✓ 已核实 在必读经典里
- Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection ↗2023 ✓ 已核实
- A Watermark for Large Language Models ↗2023 ✓ 已核实
05课程与视频
06动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
给自己的 Agent 写 20 条间接注入测试（藏在网页/文件里），修复后复测通过率。
- 1
- 2
- 3
07自测题
先自己想，再点开看答案。
间接提示注入的载体？
Agent 读取的网页、邮件、文件、工具输出。
“致命三要素”指什么？
私有数据访问、不可信内容、对外通信能力同时存在。
差分隐私 SGD 的两步关键操作？
逐样本梯度裁剪与加噪。