Skip to content
简体中文

切换主题

// ∿ 新架构:SSM / 线性注意力

扩散语言模型

不按从左到右生成,而是从全遮盖逐步“去噪”出整段文本。

Diffusion Language Models (LLaDA) 又名 Masked Diffusion Language Model / MDLM / dLLM 2025 前沿研究 核心

通俗解释

训练时随机遮盖不同比例的 token 让模型复原;生成时从全部遮盖开始,多步并行地填出 token。LLaDA 证明了 8B 规模的扩散语言模型可以与自回归模型竞争。

用在哪里:LLaDA、MDLM 等研究;Inception 的商用扩散语言模型 Mercury 系列,2026-10-19 发布 Mercury 3(厂商自述 1M 上下文、每秒 1000+ token,未见第三方评测);E-MoE(arXiv 2609.37533)改进少步解码

时间轴 · 前置 → 当前 → 后继

2018 BERT2020 去噪扩散概率模型 DDPM2025 扩散语言模型

01原始论文

Large Language Diffusion Models

Shen Nie, Fengqi Zhu, Zebin You, et al. · 2025

arXiv ↗ ✓ 已核实 · arXiv API

备注:更早的掩码扩散语言模型基线 MDLM:arXiv:2406.07524(Sahoo 等,2024,DataCite 核实)

02知识位置

左边先学;右边是学完它之后可以学的。

先学

扩散语言模型

学完可以学

  • 图谱里暂无后继

相关:Transformer 与自注意力

BERT去噪扩散概率模型 DDPMTransformer 与自注… 扩散语言模型

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:生成式与前沿研究

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)