arXiv 2610.24649 · cs.AI · 2026-10-17

Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success

Naman Vats

机构待核实

新论文

一句话要点

在固定任务下，决策模型Jev虽未提升成功率，反而增加22%成本，且严重失准，导致无效验证行为。

Jev increases cost by 22% without improving success or calibration, leading to unnecessary verification.

要点

代理在决策点是否应引入低成本模型以提升效率，而非增加成本。
在Terminal-Bench 21个任务上对比无控制器、规则、小LLM和Jev决策模型的性能与成本。
Jev使每尝试成本上升19%，通过率相同；其预测概率严重失准，误判完成状态，导致无效验证。
决策信号未带来实际收益，且所有控制器均未选择放弃任务，说明当前决策机制缺乏有效性。

English overview

The study evaluates whether a decision model (Jev) improves agent performance or reduces cost. Results show no improvement in pass rate, increased cost by 19%, and poor calibration. Jev's predictions misrepresent completion status, leading to unnecessary verification. No controller ever abandons a run, indicating limited utility of decision signals.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

16HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论代码仓库