UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents

一句话要点

UserArena 构建了包含6.4万条真实购物会话的基准数据集，结合交互环境支持多层级评估，并提出OPTD方法提升模拟器在长周期交互中的拟真度。

UserArena introduces a real-world interactive shopping benchmark with 64k trajectories and proposes OPTD to enhance simulator fidelity in long-horizon interactions.

要点

• 现有购物推荐评估资源缺乏长期、细粒度的真实用户行为轨迹，难以支持复杂交互场景下的有效评测。
• UserArena 提供了6.4万条来自1.1万名用户的会话轨迹，涵盖13种动作类型和56.6万个商品，支持从局部决策到最终结果的多层级评估。
• 提出On-Policy Trajectory Distillation (OPTD) 方法，利用轨迹级意图为学生策略生成密集的教师目标，显著提升了长周期交互中模拟器的拟真度。
• 实验表明，OPTD在UserArena评测协议下表现最优，最贴近真实生产环境A/B测试中的策略效果，验证了其在仿真真实性上的优势。

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。