arXiv 2610.26426 · cs.CL · 2026-10-19

HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL

Xiaoqiang Wang, Ting-En Lin, Yuchuan Wu, Pinyi Zhang, Caixin Kang, Ling Li, Bingxue Qiu, Jieping Ye 等 10 人

Qwen-Character

一句话要点

HarnessRL通过动态演化任务采样、策略引导和评分标准，解决开放域强化学习中奖励失效问题，在多个领域任务上显著提升性能并减少训练步数。

HarnessRL dynamically evolves training interfaces to address reward failure in open-ended RL, improving performance and reducing training steps.

要点

开放域强化学习中，固定任务采样与评估导致奖励失效，表现为评分失真或崩溃，严重阻碍策略优化。
HarnessRL引入动态演化机制，通过任务采样、策略引导和评分标准三个接口随策略演进而更新，利用历史数据判断失败原因并迭代修正。
在Rubric-Mix-10k数据集上，HarnessRL在4B和9B模型规模下比最强基线提升2.8至3.1点，训练步数几乎减半。
该方法通过即时反馈机制确保更新对当前策略有效，避免无效或有害的参数调整，但未明确说明其在复杂场景下的泛化能力。

English overview

HarnessRL addresses reward degradation in open-ended RL by co-evolving training interfaces with the policy. It dynamically updates task sampling, rollout guidance, and rubric criteria using within- and cross-task evidence. A just-in-time critic evaluates proposed changes on a frozen policy to ensure effectiveness. Evaluated on Rubric-Mix-10k, it outperforms baselines significantly and reduces training steps.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

15HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论