#02 ▲220 ★1.6k ❝22 2026-09-21
RRSI: Regularized Recursive Self-Improvement of Agent Harnesses
给 Agent 框架的递归自我改进加上正则化,防止只在训练任务上涨分、换分布就失效。
Google · Peng Xia, Rujun Han, Zifeng Wang +11
TOPIC · BENCHMARK · 62 PAPERS
大语言模型推理对齐智能体多模态视觉生成视觉理解与 3D机器人与具身高效训练与推理安全与可解释AI for Science代码与软件工程评测与数据强化学习
#02 ▲220 ★1.6k ❝22 2026-09-21
给 Agent 框架的递归自我改进加上正则化,防止只在训练任务上涨分、换分布就失效。
Google · Peng Xia, Rujun Han, Zifeng Wang +11
#11 ▲459 ★218 ❝0 2026-10-15
在 12 个机器人基准上系统评测 GPT-6-Astra 的具身能力,并讨论通用大模型对机器人研究的影响。
SenseNova · SenseNova, Joint Research Team, Zhongang Cai +59
#23 ▲272 ★107 ❝0 2026-10-15
FDE-Gym 收录 95 个真实交付任务,考察 Agent 能否像驻场工程师一样澄清需求并交付可用方案。
DeepLethe · Dongxu Yang, Hongda Yan, Renxin Wang +23
#25 ▲490 ★30 ❝0 2026-10-14
BizBench 基于真实支付业务流程,检验长任务 Agent 在执行中途是否违反政策与约束。
ant-international · Enhan Zhao, Yongqi Tong, Xuejun Yu +6
#26 ▲727 ★5 ❝0 2026-10-15
ReviewFact 标注审稿意见中的事实错误,PremiseCheck 结合大模型和轻量判别模型低成本核查。
机构待核实 · Dingjie Song, Zhiling Yan, Ziqian Zhang +2
#34 ▲163 ★36 ❝1 2026-09-22
Taste-Bench 衡量 Agent 在长任务里选方向的“品味”,并探索如何提升这种决策能力。
Microsoft · Wenbo Pan, Zhichao Liu, Shujie Liu +6
#38 ▲21 ★2.8k ❝22 2026-09-29
TabFM 是 4 亿参数的表格基础模型,全靠合成数据训练,单次前向即可零样本预测。
Google · Weihao Kong, Erez Louidor Ilan, Shuxin Nie +6
#44 ▲197 ★123 ❝0 2026-10-07
UltraText Bench 用 432 条中英双语提示,评测图像生成模型渲染密集文字的能力。
Westlake University · Deyuan Liu, Yihao Hu, Jingxuan Zhang +13
#53 ▲233 ★42 ❝0 2026-10-09
AgentSWE 评测编程 Agent 能否按需求从零搭建、修改和优化真正好用的 Agent。
机构待核实 · Jiahao Wang, Hongjin Qian, Yuyang Hu +2
#55 ▲73 ★572 ❝0 2026-09-21
GameHorizon 提供多时间尺度的游戏数据标注和评测,衡量模型的规划和操作能力。
Tencent · Yiran Wang, Xingyilang Yin, Junfu Pu +12
#63 ▲155 ★19 ❝0 2026-10-13
Into the Unknown 让 Agent 针对美国国家实验室科学家提供的未发表方向写续作论文,评测开放科研能力。
Carnegie Mellon University · Seungone Kim, Jiayi Geng, Young-Jun Lee +25
#64 ▲291 ★5 ❝0 2026-10-16
OR-License 用 31 个真实付费运筹咨询项目的原始材料,测试大模型智能体能否直接交付专家级运筹方案。
Data Science & Artificial Intelligence Lab at HKUST · Peisong Wang, Feixue Liu, Yize Meng +16
#65 ▲34 ★637 ❝9 2026-09-29
在六类具身任务上系统测试 GPT-6 Astra 直接输出机器人动作的能力,以及与专用策略的配合。
Galbot · Galbot Team, Xuchuan Chen, Xiaoqian Cheng +31
#80 ▲153 ★13 ❝1 2026-10-06
Learn2Play Bench 用规则新奇甚至反直觉的文字游戏,检验 Agent 能否从经验中学习。
National University of Singapore · Yibo Li, Jinhang Qiu, Zhi Zheng +4
#89 ▲149 ★38 ❝0 2026-10-14
MAI-Gym 是开源 GUI Agent 一体化平台,统一评测、数据采集和在线 RL,最多可并行 2 万个环境。
Tongyi-MAI · Panrong Tong, Quyu Kong, Pengxiang Li +12
#91 ▲110 ★113 ❝0 2026-10-14
Doc2Harness 直接评测大模型能否按开发文档从零搭建长任务编程 Agent 的执行框架。
Institute of Computing Technology · Yuyao Ge, Shenghua Liu, Peizhong Gao +8
#93 ▲170 ★18 2026-10-19
EgoXperience 用自动标注引擎联合重建第一视角视频中的人体运动、场景几何与手物交互,并配套基准。
Ropedia · Xinhao Ji, Hui En Pang, Hao Li +12
#97 ▲74 ★49 ❝3 2026-10-01
PROWBench 检验视频模型是否按程序指定的世界事件准确渲染,面向下一代游戏引擎。
Alaya Lab · Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai +6
#99 ▲206 ★6 ❝0 2026-10-13
RoTA-Bench 通过交互式旋转物体对齐剪影,评测视觉语言模型的 3D 空间推理。
MAC-AutoML · Qingchuan Ma, Yuexiao Ma, Xiang Meng +7
#101 ▲76 ★56 ❝0 2026-10-10
基于 150 个真实漏洞构建 450 个任务,检验编程 Agent“氛围编程”写出的代码是否安全。
Qwen · Tianyi Wu, Chao Ge, Peng Chen +12
#105 ▲44 ❝40 2026-09-22
用只做决策的轻量评审模型做第一轮打分,没把握时再升级给大模型,成本仅为后者的零头。
Carnegie Mellon University · Yubo Li, Yidi Miao, Ramayya Krishnan +1
#107 ▲156 ★13 ❝0 2026-10-19
Holi-World 是从人类第一视角经验构建世界智能的完整生态,覆盖采集、表征、数据构建、训练和评测。
Ropedia · Hao Li, Xiyuan Zheng, Yuanyuan Gao +7
#113 ▲92 ★83 ❝0 2026-10-14
在统一条件下对比十种 Agent 强化学习自蒸馏方法与 GRPO,检查它们的真实收益和成本。
Zhejiang University · Linhao Zhong, Bozhen Fang, Xuehao Wang +7
#116 ▲287 ❝0 2026-10-01
RealCompanion 公开 10 段长达 120 天、共 27218 条的真实 AI 陪伴对话,检验模型对人的长期理解。
Quis Lab · Arman Behnam, Sunglyoung Kim, Jiayi Yu +2
#130 ▲165 ❝0 2026-10-09
研究如何规模化合成高质量长程终端任务轨迹,训练能完成专业任务的终端 Agent。
alibaba · Shun Zou, Ziyu Ma, Yi Zou +6
#132 ▲132 ★9 ❝0 2026-10-07
LiveMACE 用实时金融市场做测试场,从结果和过程两方面评估持续运行的大模型 Agent。
Fudan University · Jun Zhao, Leiming Fu, Yanbo Wen +9
#134 ▲34 ★178 ❝4 2026-10-02
4DCodeBench 要求 Agent 把动态视频重建为可执行的图形程序,考察 4D 逆向图形能力。
4DCodeBench · Ruihong Shen, Žiga Kovačič, Peter Kulits +6
#137 ▲111 ★20 ❝0 2026-10-08
SoftwareGym 自动合成多样、可运行且可验证的 GUI 软件环境,用来扩大电脑操作 Agent 的训练。
Shanghai Jiao Tong University · Tian Jin, Wenhao Wang, Jing Kang +4
#145 ▲43 ★48 ❝1 2026-10-14
Orbia 是首个系统评测交互式世界模型 3D 一致性的基准,检查回访时场景是否保持不变。
Tencent · Dongyue Lu, Guian Fang, Hur Lim +20
#146 ▲134 ★7 ❝0 2026-09-26
VoxMem 评测音频大模型能否记住语音里“谁说的、怎么说的、听到了什么”等转写之外的信息。
The University of Melbourne · Yang Xiao, Vidhyasaharan Sethu, Eun-Jung Holden +1
#148 ▲60 ★135 ❝0 2026-10-13
OmniCompass 分视觉和音视频两条赛道,全面评测模型的视频定位与理解能力。
VCLab · Xuyang Liu, Shihao Wang, Xinyu Wei +5
#161 ▲72 ★13 ❝0 2026-09-27
TraceDance 从真实部署轨迹中自动构建针对特定不良行为的 Agent 测试集。
ByteDance · Dehai Min, Daoan Zhang, Yiming Zeng +13
#167 ▲75 ★46 ❝0 2026-09-29
EngiWorld 收录 1301 个专家任务,覆盖 CAD、CAE、EDA 等 6 个工程领域和 26 款专业软件。
Zhiman AI · Hongcheng Gao, Hailong Qu, Yu Lei +19
#176 ▲65 ★5 ❝3 2026-09-30
发现 JEV 类直接决策模型在有序打分时偏向中间档,没有充分利用整个评分尺度。
Jilin University · Tianxiang Gao, Jinzhe Li, Zhiyuan Li +2
#187 ▲90 ❝1 2026-09-25
Duplex-MPE 用 2000 个多人对话场景,评测全双工语音助手何时该接话、沉默或停下。
Peking University · Chengqian Ma, Wenhao Feng, Weixuan Jin +7
#200 ▲106 ★4 ❝0 2026-09-30
WorldAuditBench 让多模态 Agent 在 3D 世界中移动搜寻漂浮物体、穿墙等异常。
University of California, Santa Barbara · Ziyan Jiang, Jingbo Yang, Jiabao Ji +5
#202 ▲63 ★14 ❝1 2026-09-30
SciSlopBench 收录 390 篇 AI 生成论文,检测看似合理但推理断裂的“科研垃圾”,并探索缓解办法。
Seoul National University · Yerim Oh, Young-Jun Lee, Jaewoo Ahn +2
#204 ▲74 ★17 ❝0 2026-10-09
EmbodiedCLBench 是首个具身仿真中的持续学习基准,考察 Agent 能否组合旧技能完成新任务。
PKU-VaLuE-Lab · Jie Huang, Yanan Chen, Ruixun Liu +6
#208 ▲103 ❝0 2026-09-29
提出“预测贡献”指标,衡量科研 Agent 对实验的解释是否真能改善结果预测;预注册检验结论为不确定。
Carnegie Mellon University · Jingjie Ning, Xueqi Li, Yibo Kong +1
#215 ▲72 ★2 ❝2 2026-10-06
CheckerBench 用源自 297 个 CVE 的 300 个任务,测智能体能否在真实仓库写出静态分析检查器。
Humanlaya Data Lab · Hang He, Li Wang, Hao Chen +9
#224 ▲25 ★185 ❝0 2026-10-14
Qwen 的 BlenderWorld 基准测视觉智能体能否照真实参考图在 Blender 中创建和编辑 3D 内容。
Qwen · Xinyu Fang, Yuchi Wang, Weihao Yu +12
#228 ▲75 ★11 ❝0 2026-09-30
EgoTools 关注真实第一视角视频中的工具使用推理,评测并提升模型对手-工具-物体关系的理解。
Ropedia · Shulin Tian, Junsu Kim, Shuai Liu +17
#234 ▲40 ★41 ❝1 2026-10-07
RobotWorld 用 84 个仿真任务(操作、移动、驾驶、飞行)检验通用多模态 Agent 能否操控机器人。
机构待核实 · Zhiqin Yang, Chenxin Li, Xiaomeng Hu +30
#237 ▲31 ★26 ❝1 2026-09-24
腾讯混元 ExplorationBench 在可验证的虚构世界中测 AI 的科学探索能力,排除预训练知识的干扰。
Tencent Hunyuan · Ming Zhang, Zhenghao Xiang, Peizhong Gao +17
#238 ▲85 ★5 ❝0 2026-10-06
DecepEval 用 1532 个实例和“欺骗钻石”框架,评测 LLM Agent 在什么条件下更容易撒谎。
Xi'an Jiaotong University · Yiming Xu, Hongyue Yu, Beihua Yang +8
#247 ▲123 ❝0 2026-09-30
GraphForge 以真实文件构建证据图,合成带可验证结果的办公任务来训练“干活型”智能体。
University of Science and Technology of China · Qisheng Su, Hanchen Wang, Guanru Zhu +9
#249 ▲56 ★21 ❝0 2026-10-01
SimuVerity 用 101 个任务检验智能体生成的 Simulink 模型是否满足工程需求,而不只是能运行。
Xi'an Jiaotong University · Ruiqi Zhang, Jiahao Wang, Mingxuan Li +9
#254 ▲53 ★4 ❝0 2026-10-15
PhysClosureBench 用 50 个专家验证的物理研究任务,评估 Agent 能否组织研究并得出有证据支撑的结论。
Shanghai AI Laboratory · Yijia Mao, Song Dai, Tao Chen +14
#264 ▲60 ★26 ❝0 2026-10-01
EditHero 是首个长程、部件级 3D 编辑基准,检验连续多次修改时能否只改指定部分。
机构待核实 · Ruihan Yu, Yu-Ju Tsai, Muyao Niu +9
#276 ▲69 ❝1 2026-09-30
PhysVista 通过“感知-推理-判断”闭环评测视觉语言模型的物理常识与判断能力。
university of science and technology of china · Xinge Peng, Yiting Lu, Tianwu Zhi +4
#283 ▲35 ★29 ❝0 2026-10-16
RAP 数据集收录 2.5 万多对论文与海报,把海报还原成可渲染比对的 HTML/CSS,用于论文转海报生成。
meituan · Haonan Han, Yukang Lin, Minliang Lin +7
#288 ▲33 ★12 ❝0 2026-10-16
MIST 评测把“是否执行了指令”与“是否记住”分开,发现视频世界模型的瓶颈多在执行而非记忆。
The University of Hong Kong · Weiyang Jin, Jiwen Yu, Sihan Xu +2
#290 ▲37 ★7 2026-10-19
AnyGoal 基准测试世界模型能否组合已见过的状态和动作因素,发现现有模型在这类重组上普遍失败。
galilai-group · Heejeong Nam, Divyat Mahajan, Quentin Le Lidec +2
#291 ▲24 ★11 ❝0 2026-10-20
MMEnterprise-Bench 含 1613 道题,基于不断修订的企业多模态记录,考察证据推理、冲突消解和拒答。
机构待核实 · Seohyun Lee, Jongha Kim, Dohwan Ko +4
#296 ▲28 ★3 ❝0 2026-10-19
AdaExploreBench 用隐藏且会悄悄变化的规则,测试智能体能否主动探索并在测试时自我调整。
HKUST · Rui Wang, Zishen Lai, Jiayu Liu +15
#298 ▲26 ★4 ❝0 2026-10-09
APEX-Harm 在含上百个文件的共享工作区里,测试金融、咨询、法律 Agent 抵御提示和脚本注入的能力。
King Abdullah University of Science and Technology · Ziyi Yang, Adel Bibi, Guohao Li +2
#300 ▲21 ★9 ❝0 2026-09-24
IndicBankBench 用 799 个印度零售银行案例,分阶段评估银行助手的安全、工具调用和回答质量。
National Payments Corporation of India · Suvradip Paul, Chandra Bhushan, Harsh Sharma +4
#301 ▲34 ❝0 2026-10-14
Interlock 把任务表示为“完成图”,合成能检查各环节是否真正闭环的长程智能体任务和评分规则。
LongCat · Linji Hao, Yanji He, Zihan Wang +6
#303 ▲33 ❝0 2026-10-16
MTEdit 用“打包轨迹画布”一次生成多个编辑状态,构建 50 万条多轮图像编辑数据和配套评测。
SenseNova · Houyuan Chen, Fanzhou Wang, Xiangyu Fan +8
#306 ▲23 ❝0 2026-09-24
为医疗长答案的事实核查建立错误分类体系,找出基于检索的评测在哪里失效。
Center for Language and Speech Processing @ JHU · Heyuan Huang, Jirui Dai, Alexandra DeLucia +5
▲82 ★216 ❝0 2026-09-18
定义“原生音视频对话”任务,并配套合成数据、评测基准和训练方法。
Qwen · Haolin He, Yunfei Chu, Qi Chen +15
▲81 ★108 ❝1 2026-09-18
RecreationWorld 让电脑操作 Agent 观察一个运行中的软件并在五个平台上重新实现它,可复现可验证。
Qwen · Shuai Bai, Jiayong Deng, Sicheng Fan +30
数据更新于:最新 AI 论文(北京时间)