HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games

一句话要点

HiSTEVE 1.0 提出一种层级式视觉语言代理，结合结构化记忆与规划模块，在Minecraft中实现了长时域自主决策和原生界面控制，达到顶尖的原子任务表现并完成从零开始的复杂建造任务。

HiSTEVE 1.0 achieves state-of-the-art atomic task performance and long-horizon gameplay in Minecraft via a hierarchical VLA agent with structured planning and native interface control.

要点

• 现有虚拟代理在开放世界游戏中难以兼顾长期自主决策与原生界面操作的可靠性，存在能力割裂和交互干扰问题。
• 提出层级视觉语言代理（HiSTEVE），配备结构化记忆与视觉语言规划器，通过策略耦合的任务完成检测器判断子任务结束，并使用专用RMSNorm分支和鼠标动作嵌入分离GUI与非GUI交互。
• 在MineStudio Bench上原子任务准确率达85.0%，OpenHA平均成功率37.4%，成功完成从零开始制作铁镐等复杂长时任务，表现媲美人类玩家。
• 实现了视觉语言代理在开放世界中的高效协同控制，但未明确说明其泛化能力或对动态环境的鲁棒性。

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。