// ∿ 新架构：SSM / 线性注意力

循环语言模型（Looped LM）

同一组层反复执行多次，用“算更多遍”代替“堆更多层”。

Looped Language Models 又名 Universal Transformer / Recurrent-depth Transformer / 循环深度 2018 高级扩展

通俗解释

直觉：与其堆 100 层不同参数，不如让同一个小模块把表示反复“过几遍”，每过一遍就多想一步。这样参数量不变，却能在推理时按需多循环以换取更强推理。Universal Transformer 最早提出这一做法，2025 年的 Ouro 把它扩展到预训练规模；代价是每多循环一次，训练和解码成本都增加。

用在哪里：Ouro 循环语言模型（字节跳动 Seed 等）；2026-10 的 LEV 循环决策模型、不动点训练研究，以及 PAR 进度对齐循环（2610.27628）

时间轴 · 前置 → 当前 → 后继

2017 Transformer 与…2018 循环语言模型（Looped LM）

01原始论文

Universal Transformers

Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, et al. · 2018

arXiv ↗ ✓ 已核实 · DataCite (arXiv DOI 10.48550/arXiv.1807.03819)

备注：规模化预训练版本 Ouro：Zhu 等，arXiv:2510.25741（2025，DataCite 核实）。2026-10 两篇新论文同时讨论：Looped Models Done Right Part II（2610.06833）、LEV（2610.20951）；2026-10-20 的 PAR（arXiv 2610.27628，DataCite 核实）让每轮循环对齐任务进度，状态追踪外推到训练长度 16 倍