Dual Exam: Controlled Evaluation of Multimodal Agents and World Models

一句话要点

Dual Exam通过固定环境响应和动作干预，分别评估多模态代理与世界模型在多个领域的表现，发现两者在任务执行和状态演化上存在不一致，且耦合协同效果尚待验证。

Dual Exam evaluates multimodal agents and world models across domains, revealing discrepancies in task performance and state evolution, with coupled success still unverified.

要点

• 多模态代理与世界模型在物理、数字、社会和科学领域中需分别评估其行动选择与状态演化能力，以揭示交互中的关键问题。
• 实验设置通过固定环境响应和动作干预，测试10种代理配置在1088项任务上的表现，GPT 6 Astra在代理指标上领先，得分31.3。
• 世界模型在8种场景下测试400个案例，GPT-Image-2在完整覆盖场景中得分最高，达到21.7，但不同任务和指标不可直接比较。
• 初步耦合实验显示零任务成功，表明代理与世界模型在保持任务相关状态方面存在严重缺陷，其协同学习潜力仍需进一步研究。

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。