arXiv 2610.30882 · cs.LG · 2026-10-22

Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models

Zhizhuo Kou, Sizai Hou, Long Chen, Jian Yang, Junyu Luo, Jingshu Peng, Wenkai Zhang, Sirui Han 等 9 人

HUAWEI Noah's Ark Lab

一句话要点

研究发现‘wait’指令并非RL训练新产生，而是源于训练数据继承；RL在提升准确率的同时并未新增该标记，其出现与模型基础架构和训练过程密切相关。

The 'wait' instruction is inherited from training data, not invented by RL; its presence correlates with base model exposure, not RL training.

要点

澄清RL是否真正催生了‘wait’这一推理标记，避免将模型表现归因于RL而忽略数据继承影响。
通过分析开源模型训练历史，结合词频、位置、形式和使用情况，以及注入错误测试，追踪‘wait’在不同训练阶段的出现路径。
零RL训练几乎不产生‘wait’；该标记主要来自训练数据，在中后期训练或微调中被引入，且在已有‘wait’的模型中被强化或弱化。
仅凭词频无法判断是否由RL引发推理变化，自动化评估可能误判人类标注趋势，提示需谨慎使用LLM作为评判标准。

English overview

This work investigates the origin of the 'wait' instruction in reasoning models, showing it is primarily inherited from training data rather than invented by reinforcement learning. Analysis across model bases reveals that RL does not generate the marker de novo, and its presence depends on base exposure and fine-tuning phases. The study highlights limitations in using frequency-based metrics or LLM judges to assess RL impact on reasoning behavior.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

21HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论代码仓库