本类时间线
01核心算法
先学这些,按年份排列。
对抗样本(FGSM)Adversarial Examples (FGSM) 在输入上加人眼几乎看不出的扰动,就能骗过模型。 2014核心 成员推断攻击Membership Inference Attacks 判断某条数据是否被用来训练过模型,用来衡量隐私泄露。 2016核心 自动化红队Automated Red Teaming 用一个语言模型去生成攻击提示,测试另一个模型。 2022核心 GCG 通用越狱攻击GCG Universal Jailbreak Attack 自动搜索一段“乱码后缀”,让对齐过的模型输出有害内容。 2023核心 间接提示注入Indirect Prompt Injection 把恶意指令藏进网页、邮件或文档,借模型之手执行。 2023核心 大模型当评委LLM-as-a-Judge 用强模型给其他模型的回答打分或做两两比较。 2023核心 大模型文本水印LLM Watermarking 生成时暗中偏向一组“绿色”词,事后可统计检测 AI 文本。 2023核心 弱到强泛化Weak-to-Strong Generalization 用弱模型的标签监督强模型,研究人类如何监督超人 AI。 2023核心
02扩展
核心学懂之后值得了解的变体和后续工作。
03哪些课程单元在讲
U81 RAG 系统工程与评估 切分、查询改写、HyDE、GraphRAG、引用、评估指标。 8 小时4 个算法3 篇论文已有正文 U83 AI 应用工程:评测、成本与上线 自建评测集、LLM 评委、可观测性、模型网关、成本控制、产品设计。 8 小时3 个算法1 篇论文 U90 评测与基准 主流基准、竞技场、数据污染、能力评估的局限。 6 小时2 个算法2 篇论文已有正文 U92 安全攻防:越狱、注入与隐私 对抗样本、GCG、提示注入、红队、水印、差分隐私、后门。 6 小时8 个算法4 篇论文已有正文 U93 前沿风险、可扩展监督与治理 弱到强泛化、辩论、宪法式 AI、风险框架与法规(欧盟 AI 法案、NIST AI RMF)。 6 小时4 个算法3 篇论文