TOPIC · RL · 49 PAPERS

强化学习

大语言模型推理对齐智能体多模态视觉生成视觉理解与 3D 机器人与具身高效训练与推理安全与可解释 AI for Science 代码与软件工程评测与数据强化学习

近 30 天 48

#06 ▲348 ★187 ❝0 2026-10-14

Player-1: Learning to Play from Synthetic Experience

Player-1 用合成交互经验做后训练，让电脑操作型 Agent 学会玩游戏。

ARC Lab, Tencent · Mingyu Ouyang, Yiran Wang, Siyuan Hu +9

智能体强化学习 arXiv 代码 HF

#22 ▲511 ★7 ❝2 2026-09-29

The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation

在线策略蒸馏中，沿 RL 引起的隐藏表征变化方向外推，让学生模型更稳定地超越教师。

机构待核实 · Hao Li, MeiJia Chen, Weijie Ren +4

高效训练与推理强化学习 arXiv 代码 HF

#24 ▲325 ★154 ❝0 2026-10-08

DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

DiffusionART 先聚合奖励再微调扩散模型，在线强化学习更高效也更稳定。

KlingAI Research · Zhenglin Wan, Jiayu Chen, Zhengfeiyang Zhang +6

视觉生成强化学习 arXiv 代码 HF

#29 ▲642 ❝2 2026-09-30

False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents

揭示自进化搜索 Agent 的“共谋作弊”：出题者和解题者一起犯同样的错，并提出多样本验证来缓解。

Rutgers University · Meijia Chen, Hao Li, Zheng Lu +12

智能体强化学习 arXiv HF

#37 ▲214 ★234 ❝0 2026-10-13

Agent-Reflex: Teaching Language Agents to Act Reflectively

Agent-Reflex 分三阶段训练，让 Agent 在工具反馈有噪声或用户纠错时主动反思并恢复。

NLPIR Lab @ RUC · Guanting Dong, Xinyu Yang, Jiajie Jin +9

智能体强化学习 arXiv 代码 HF

#46 ▲137 ★114 ❝0 2026-10-13

AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards

AesCode 以同提示生成的图片做审美参考，用解耦的跨模态奖励训练模型写出更好看的幻灯片和海报代码。

Microsoft · Xin Gao, Yifan Yang, Xin Li +13

代码与软件工程视觉生成强化学习 arXiv 代码 HF

#47 ▲181 ★57 ❝1 2026-09-28

Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation

多教师在线蒸馏中按领域归一化各教师的反馈强度，让学生同时学好数学、代码和指令遵循。

Nanyang Technological University · Xin Li, Hao Jiang, Xin Gao +6

高效训练与推理强化学习 arXiv 代码 HF

#52 ▲133 ★105 ❝0 2026-10-13

Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes

Urbex 让视觉语言 Agent 在城市级 3D 场景中主动搜索、缩放、换视角来定位目标，并用强化学习优化。

alibaba · Yu Wang, Rui Dai, Wei Chen +5

智能体视觉理解与 3D 强化学习 arXiv 代码 HF

#68 ▲189 ★10 ❝1 2026-10-06

Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight

自我回顾蒸馏把事后经验转成事前预判，弥补 RLVR 在奖励全相同时信号消失的问题。

Salesforce AI Research · Haoxiang Zhang, Qinglin Chen, Hiroaki Hayashi +9

强化学习智能体 arXiv 代码 HF

#70 ▲218 ★10 ❝0 2026-10-15

Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

Waypoint-OPD 借助教师 RL 训练中途的检查点，只迁移前后一致的策略变化。

机构待核实 · Bingxi Hou, Guochao Jiang, Guofeng Quan +4

强化学习高效训练与推理 arXiv 代码 HF

#86 ▲111 ★30 ❝0 2026-10-01

Sharpening Tax in Post-Training

发现 RL 后训练在 Agent 任务上有“锐化税”：预训练模型配轻量框架，多次尝试的覆盖率反而更高。

Meta · Changdae Oh, Qi Zeng, Qi Qi +7

强化学习智能体 arXiv 代码 HF

#87 ▲103 ★114 ❝0 2026-09-22

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

SpeakerMem-R1 以说话人为中心构建双轨记忆，解决多人对话中“谁说了什么”的记忆难题。

Zhejiang University · Haobo Zheng, Tan Tang, Yan Chen +2

智能体强化学习 arXiv 代码 HF

#88 ▲154 ★34 ❝0 2026-10-08

Reflex: Visually Grounded Reactive Humanoid Control

Reflex 让人形机器人凭第一视角视觉在一秒内全身反应，例如接住抛来的箱子。

University of Washington · Taoyang Jia, Weikai Huang, Linxin Song +6

机器人与具身强化学习 arXiv 代码 HF

#89 ▲149 ★38 ❝0 2026-10-14

MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments

MAI-Gym 是开源 GUI Agent 一体化平台，统一评测、数据采集和在线 RL，最多可并行 2 万个环境。

Tongyi-MAI · Panrong Tong, Quyu Kong, Pengxiang Li +12

智能体强化学习评测与数据 arXiv 代码 HF

#90 ▲327 ❝0 2026-09-26

Scaling Properties of Same-Family On-Policy Distillation

研究同族模型间在线策略蒸馏的扩展规律：训练早期准确率随 KL 距离近似线性上升。

Zhejiang University · Yuntai Bao, Qinfeng Li, Guoqing Jiang +5

高效训练与推理强化学习 arXiv HF

#95 ▲134 ★39 ❝0 2026-09-29

AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks

AREX-2 用机器学习和算法编程中的长程改进轨迹训练，让 Agent 在测试时反复反思、不断改进答案。

Beijing Academy of Artificial Intelligence · Hongjin Qian, Chaofan Li, Kun Luo +11

智能体强化学习 arXiv 代码 HF

#109 ▲30 ★2.1k ❝0 2026-10-06

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

NeMo-DCR 只传输每步变化的约 1% 权重并保证比特级一致，加速万亿参数 Agent RL 的权重同步。

NVIDIA · Songlin Jiang, Zhiyu Li, Terry Kong +5

高效训练与推理强化学习 arXiv 代码 HF

#111 ▲92 ❝6 2026-10-08

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

小米 MiMo-V2.6 全模态模型技术报告，重点是从多个维度扩大强化学习算力以实现自我提升。

Xiaomi MiMo · Xiaomi LLM-Core Team, :, Zongming Qiao +147

大语言模型强化学习多模态 arXiv HF

#113 ▲92 ★83 ❝0 2026-10-14

More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning

在统一条件下对比十种 Agent 强化学习自蒸馏方法与 GRPO，检查它们的真实收益和成本。

Zhejiang University · Linhao Zhong, Bozhen Fang, Xuehao Wang +7

智能体强化学习评测与数据 arXiv 代码 HF

#117 ▲105 ❝3 2026-10-02

Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

递归自我重写：在各种专用框架下找到成功解，再改写成通用框架下可用的训练轨迹。

Tencent Hunyuan · Zongxia Li, Yucheng Shi, Zhongzhi Li +7

智能体强化学习 arXiv HF

#139 ▲152 ❝0 2026-10-05

LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches

LoGRA 用低秩梯度草图压缩 RL 后训练的显存，并按预测 KL 控制步长保持稳定。

NVIDIA · Shaokun Zhang, Yifan Zhang, Jian Hu +5

强化学习高效训练与推理 arXiv HF

#150 ▲140 ❝0 2026-09-29

Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL

自适应奖励路由在训练中动态调整更新位置和多个奖励的权重，改进音视频联合生成。

Tencent · Songlin Yang, Xiaotong Zhao, Jiacheng Zhang +5

视觉生成强化学习 arXiv HF

#151 ▲96 ★21 ❝0 2026-10-12

TPPO: Tracking-Value PPO For Language Model Reasoning

TPPO 用累加式价值参数化追踪推理过程中的价值变化，改进 PPO 的逐 token 信用分配。

机构待核实 · Futing Wang, Chenxi Li, Jianhao Yan +6

强化学习推理 arXiv 代码 HF

#157 ▲50 ★45 ❝0 2026-09-20

One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents

按任务类别分别训练软件工程专家再合并，缓解统一 RL 训练中各类任务此消彼长的问题。

alibaba · Jie Zhao, Ziyu Jiang, Suhang Zheng +3

代码与软件工程强化学习智能体 arXiv 代码 HF

#160 ▲68 ★22 ❝0 2026-09-30

Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics

指出基于评分细则的 RL 用加权求和会被“刷分”（以临床问诊为例），并提出协议级细则加以缓解。

ByteDance · Maoqi Liu, Junwei He, Bowen Zhang +5

强化学习对齐 AI for Science arXiv 代码 HF

#172 ▲55 ★33 ❝1 2026-10-09

OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools

OpenMobile-2 开放 110 多个应用的训练环境和约 1.2 万条交互轨迹，训练接近前沿水平的手机智能体。

Nanjing University · Chenyang Yan, Yingying Zhang, Kanzhi Cheng +21

智能体强化学习 arXiv 代码 HF

#174 ▲95 ❝1 2026-09-26

Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL

GAGAR 在编程 Agent RL 中按实现质量重新分配优势值，奖励更干净、更聚焦的代码修改。

Xiaomi MiMo · Jinhao Dong, Liang Zhao, Zihao Yue +7

代码与软件工程强化学习 arXiv HF

#190 ▲175 ❝0 2026-10-15

Learning to Think and Explore in 3D World

让视觉语言模型像人一样一次看一张图，在 3D 环境中边推理边移动视角再作答，用 RL 训练。

University of California at San Diego · Yijiang Li, Bingyang Wang, Nuno Vasconcelos

多模态强化学习推理 arXiv HF

#194 ▲45 ★28 ❝0 2026-10-16

Self-Evolving Coding Agents via Harness-Policy Optimization

微软 Self-HPO 交替优化编程智能体的“外壳”（harness）和策略模型，实现递归自我改进。

Microsoft Research · Zhepei Wei, Wenlin Yao, Baolin Peng +5

代码与软件工程智能体强化学习 arXiv 代码 HF

#207 ▲62 ★36 ❝0 2026-10-15

Mosaic: Multi-Session Agentic Reinforcement Learning

Mosaic 把智能体强化学习扩展到多会话轨迹，匹配上下文压缩和子智能体分叉等真实推理方式。

LARK Lab@HKUST (GZ) · Yilong Xu, Minrui Xu, Xinyu Zhou +3

强化学习智能体 arXiv 代码 HF

#209 ▲145 ❝0 2026-10-05

VepAgent: Bridging Causal-Transition via Tool-Augmented Reinforcement Learning for Video Event Prediction

VepAgent 把因果转移推理与工具增强强化学习结合，用于预测视频中接下来会发生的事件。

UCSC-VLAA · Qiutong Chen, Yuchan Guo, Zhenlong Yuan +10

多模态强化学习推理 arXiv HF

#211 ▲24 ★1.1k ❝0 2026-10-12

StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions

StartLux-Decision 决策模型（0.8B–27B）对有把握的情况直接作答、不确定时才推理，并用强化学习校准决策概率。

StartLux · Xialie Zhuang, Zunhai Su, Jia Pan +3

推理强化学习 arXiv 代码 HF

#212 ▲34 ★111 ❝1 2026-09-24

Qwen-Planner-Agent: A Closed-Loop AI-for-AI Framework for Real-World Mobile Planner Agents

通义 Qwen-Planner-Agent 用“AI 开发 AI”的闭环框架迭代训练真实手机上的规划智能体。

Tongyi-MAI · Tingyu Qu, Weigao Sun, Yuecheng Liu +23

智能体强化学习 arXiv 代码 HF

#213 ▲104 ❝1 2026-09-21

RULER: Instance-aware Rubric Rewards for SVG Generation

RULER 用针对每条指令的多维评分细则当奖励，训练模型生成 SVG 矢量图，缓解奖励作弊。

inclusionAI · Hangyu Ran, Yuhao Zheng, Yingying Zhang +2

强化学习视觉生成 arXiv HF

#219 ▲40 ★153 ❝0 2026-09-29

TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion

TERRA 把运动数据连同地形一起重定向到肌肉骨骼模型，让肌肉驱动的智能体在复杂地形上行走。

Mathis Group @ EPFL · Merkourios Simos, Chengkun Li, Bianca Ziliotto +1

机器人与具身强化学习 arXiv 代码 HF

#233 ▲66 ★5 ❝1 2026-09-25

Decentralized Master-Mind: Joint Action Refinement through Iterative Intent Denoising in Multi-Agent Pathfinding

DMM 用迭代去噪联合细化多智能体路径规划中的动作，避免各自采样拼出相互冲突的方案。

机构待核实 · Valeriy Vyaltsev, Anton Andreychuk, Taisia Zlotnikova +3

机器人与具身强化学习 arXiv 代码 HF

#235 ▲91 ❝0 2026-10-06

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

Qwen 团队的 TRACE 对齐训练与 rollout 两条 FP4 量化路径，用于 MoE 大模型的低精度强化学习。

Qwen · Xin Wang, Hao Yu, Zhengyang Zhuge +9

高效训练与推理强化学习大语言模型 arXiv HF

#236 ▲27 ★187 ❝1 2026-10-06

On KL-Regularized Policy Optimization

KLPO 把 KL 正则锚定在采样策略上，处理异步强化学习中策略过期和推理/训练概率不一致的问题。

math-ai · Yifan Zhang

强化学习大语言模型 arXiv 代码 HF

#239 ▲85 ★4 ❝0 2026-10-13

WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution

WorkRover 通过递归演化训练环境与验证器，扩展长程“协作办公”智能体的强化学习训练。

Nex AGI · Hang He, Linting Wang, Guanming Liu +14

智能体强化学习 arXiv 代码 HF

#244 ▲86 ★4 ❝0 2026-10-15

SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation

SCOPE 基于 GRPO，按语义片段而非单个子词分配奖励，训练文生图提示词改写模型。

University of Rochester · Yufei Jiao, Jinfa Huang, Zeyue Xue +5

强化学习视觉生成 arXiv 代码 HF

#253 ▲50 ★31 ❝0 2026-09-28

Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning

用交错强化学习联合训练统一多模态模型的“反思文本”和图像生成，让它能自查并修图。

MMLab@NTU · Yijia Fan, Ziqi Huang, Zhongang Cai +5

多模态强化学习视觉生成 arXiv 代码 HF

#256 ▲35 ★37 ❝0 2026-09-27

Diffusion Reward Models

清华 DRM 把奖励建模改成条件密度估计，用扩散模型刻画人类偏好的多峰分布。

Tsinghua NLP Group · Xiangyang Wang, Bingxiang He, Zeyuan Liu +13

对齐强化学习 arXiv 代码 HF

#259 ▲79 ★3 ❝0 2026-10-13

Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders

ReMaRk 让大模型推荐器的 GRPO 训练对所有回复的并集打分，消除随机抽一个回复带来的噪声。

Nanyang Technological University · Xin Li, Hao Jiang, Jinghao Guo +2

强化学习大语言模型 arXiv 代码 HF

#262 ▲79 ❝0 2026-10-12

X-Ragent: Tool-Augmented Reinforcement Learning for Evidence-Grounded Chest X-Ray Reasoning

X-Ragent 用工具增强强化学习训练胸片推理，学会何时调用辅助证据、过滤不适用的量化证据。

Carnegie Mellon University · Yi Wang, Zhenlong Yuan, Yuchan Guo +9

强化学习推理 AI for Science arXiv HF

#268 ▲73 ❝0 2026-09-21

VideoGen-Agent: Reinforcing Video Generation Agents

VideoGen-Agent 用多任务智能体强化学习训练视频生成智能体调用外部工具，满足需要专门知识的提示。

Princeton University · Binxu Li, Haoyi Duan, Yuhui Zhang +9

视觉生成智能体强化学习 arXiv HF

#279 ▲85 ❝0 2026-10-03

Questioning the Questions: Sustaining Self-Evolution in Reasoning Models

分析自进化推理模型为何会崩溃（无效题和重复题变多），并提出维持自进化的出题质量控制。

Huang's INTelligence lab · Jinyuan Li, Chengsong Huang, Langlin Huang +4

推理强化学习 arXiv HF

#281 ▲42 ★12 ❝0 2026-10-18

CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents

CoworkEnv 自动合成可执行的“AI 同事”训练环境（任务、工具、评分），用于监督微调和强化学习小模型。

机构待核实 · Zhongwei Xie, Yiming Du, Jiaxin Bai +10

智能体强化学习 arXiv 代码 HF

#284 ▲52 ❝0 2026-10-16

Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning

TreeOPSD 把多轮交互建成树，回传终局奖励得到每轮的隐式信用，再做无评论家的自蒸馏，用于长程智能体强化学习。

Tencent Hunyuan · Heming Zou, Qi Wang, Yixiu Mao +7

强化学习智能体 arXiv HF

更早（归档） 1

▲138 ❝2 2026-09-18

CodeMidas: Scaling Agentic Coding RL Environments from Code Itself

CodeMidas 只以源代码为输入，自动把开源代码库中的功能转成可执行的编程 RL 环境。

Xiaomi MiMo · Bowen Ye, Lei Li, Shicheng Li +16

代码与软件工程强化学习智能体 arXiv HF

在归档中检索该主题 →