TOPIC · MULTIMODAL · 52 PAPERS

多模态

大语言模型推理对齐智能体多模态视觉生成视觉理解与 3D 机器人与具身高效训练与推理安全与可解释 AI for Science 代码与软件工程评测与数据强化学习

近 30 天 51

#03 ▲223 ★12k ❝1 2026-09-27

YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality

YuE2 先写可读乐谱再生成整首歌，把符号作曲和音频生成统一到一个模型里。

Multimodal Art Projection · Ruibin Yuan, Jiahao Pan, Junyan Jiang +32

多模态视觉生成 arXiv 代码 HF

#08 ▲375 ★210 ❝1 2026-10-13

VideoJev: System One Model for Video Understanding and Interaction

VideoJev 把视频理解改成对时间段和选项直接打分，统一时序定位和视频问答。

Multimedia Computing Group-Nanjing University · Yuhan Zhu, Xiangyu Zeng, Qingyi Si +15

多模态高效训练与推理 arXiv 代码 HF

#09 ▲485 ★200 ❝0 2026-09-25

Omni-IO Skills: Harnessing Your Agent Omni-Native

Omni-IO Skills 用分层技能和资产登记表，让现有 Agent 能读写图像、音频、视频、3D 等多种模态。

National University of Singapore · Yanlin Li, Mingyang Hao, Shengqiong Wu +3

智能体多模态 arXiv 代码 HF

#13 ▲417 ★261 ❝0 2026-09-29

LoopVL: Recurrent Visual Intelligence

LoopVL 把循环 Transformer 扩展到视觉语言模型，在多次循环中反复更新视觉-语言状态。

Renmin University of China · Zhe Qian, Ziyang Gong, Zhongxing Xu +13

多模态推理 arXiv 代码 HF

#15 ▲184 ★200 ❝6 2026-09-12

Realtime-Venus: A full-duplex interaction system with asynchronous delegation

Realtime-Venus 是全双工实时交互系统，可边听边看边说，并把复杂任务异步委派出去。

inclusionAI · Ant Group

多模态智能体 arXiv 代码 HF

#17 ▲238 ★228 ❝3 2026-10-01

OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

OneStreamer 让流式视频模型边看边记分层字幕记忆，并在证据足够时主动回应。

Nanjing University · Xiangyu Zeng, Yuandong Yang, Zhiqiu Zhang +21

多模态 arXiv 代码 HF

#27 ▲560 ★17 ❝0 2026-10-15

MJev-Spatial: System One Spatial Intelligence via Native Attention Matching

MJev-Spatial 把空间理解任务改成分类式打分，比自由生成文本更快地回答方位、距离和落点问题。

Mind Lab · Luozheng Qin, Yuhan Zhu, Changhai Zhou +9

多模态高效训练与推理 arXiv 代码 HF

#33 ▲270 ★175 ❝0 2026-10-09

S-Space: Exploring Spatial Workspace in Multimodal Language Models

发现多模态模型内部存在线性“空间工作区”S-Space，用连续坐标编码物体位置。

MirroS · Zhiyuan Shi, Xiang Li, Xingzhuo Guo +8

多模态安全与可解释 arXiv 代码 HF

#36 ▲224 ★47 ❝0 2026-09-28

Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence

指出潜空间视觉推理的 token 对图像证据不敏感，并提出把潜推理锚定到视觉证据上的训练方法。

Amazon · Xi Xiao, Tianchen Zhao, Youngeun Kim +10

推理多模态 arXiv 代码 HF

#39 ▲174 ★364 ❝0 2026-10-04

Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation

Kandinsky 6.0 Video 能同步生成 5 秒视频和 44kHz 音频（含口型），分 3B 和 29B 两个版本。

Kandinsky Lab · Team Kandinsky, Julia Agafonova, Bulat Akhmatov +85

视觉生成多模态 arXiv 代码 HF

#59 ▲83 ★131 ❝3 2026-10-01

UniWAM: Unified World-Action Model

UniWAM 把物理推理、世界生成和动作预测统一到一个模型里，用于机器人控制。

HKUSTGZ · Wenxuan Song, Jiayi Chen, Jingbo Wang +13

机器人与具身多模态 arXiv 代码 HF

#61 ▲102 ★152 2026-10-19

OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

OpenVLHarness 为多模态模型提供工具能力层和持久多模态记忆，处理需要外部证据的视觉任务。

Apple · Yu Zhou, Cheng-Fu Yang, Rui Sun +8

多模态智能体 arXiv 代码 HF

#62 ▲143 ★30 ❝0 2026-10-10

Learning Where to Split: Dynamic Band Splitting for Audio Source Separation

动态频带切分方法按每段混音自适应划分频带，提升音频源分离的效果和效率。

Tsinghua Machine Learning Group · Bingzhe Zhang, Kai Li, Xiaolin Hu

多模态 arXiv 代码 HF

#67 ▲116 ★59 ❝0 2026-09-29

Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies

GEB 把长视频中同一物体的观察串成“实体传记”，帮助回答跨时间的问题。

Amazon Science · Hui Ren, Lei Fan, Henry Pao +5

多模态 arXiv 代码 HF

#71 ▲225 ★12 ❝0 2026-10-19

Focused Omni-Modal GUI Agents

FocusGUI 用轻量适配器按步骤挑出最相关的屏幕、音频等信号注入冻结模型，缓解 GUI 智能体被无关上下文带偏。

Nanyang Technological University · Fuyao Zhang, Wenwen He, Jiaming Zhang +6

智能体多模态 arXiv 代码 HF

#78 ▲266 ❝0 2026-09-30

UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement

UniEvo-VL 让同一个多模态模型分别扮演教师和学生，用自我批评做在线自蒸馏实现自我提升。

Stanford NLP · Fang Wu, Da Xing, Yanjie Huang +16

多模态 arXiv HF

#79 ▲151 ★70 ❝0 2026-09-28

PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation

PanoVLN 研究如何让视觉语言导航真正用好全景图像，而不是简单替换透视图。

Zhejiang University · Zhen Wang, Changpeng Wang, Zhe Liu +5

机器人与具身多模态 arXiv 代码 HF

#99 ▲206 ★6 ❝0 2026-10-13

RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment

RoTA-Bench 通过交互式旋转物体对齐剪影，评测视觉语言模型的 3D 空间推理。

MAC-AutoML · Qingchuan Ma, Yuexiao Ma, Xiang Meng +7

多模态评测与数据推理 arXiv 代码 HF

#102 ▲70 ★91 ❝0 2026-10-06

VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

VisionWeave 让多模态模型端到端学会按内容分配视觉 token 粒度，细节处多给、简单处少给。

Qwen · Yuan Feng, Qize Yang, Ruizhe Chen +9

多模态高效训练与推理 arXiv 代码 HF

#110 ▲78 ★38 ❝2 2026-09-29

Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering

Imagine3D-LLM 教多模态模型先在脑中“想象”3D 场景再回答多视角空间问题。

KAIST AI · Jaewoo Jung, Hyeonseo Yu, Honggyu An +10

多模态推理 arXiv 代码 HF

#111 ▲92 ❝6 2026-10-08

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

小米 MiMo-V2.6 全模态模型技术报告，重点是从多个维度扩大强化学习算力以实现自我提升。

Xiaomi MiMo · Xiaomi LLM-Core Team, :, Zongming Qiao +147

大语言模型强化学习多模态 arXiv HF

#121 ▲89 ❝11 2026-09-19

Transferring the Intelligence of VLMs to Robotic Control

RoboDawn 用一组简单的离散平移、旋转和夹爪命令，让视觉语言 Agent 直接控制机器人，检验数字智能能否迁移到物理世界。

机构待核实 · Meng-Hao Guo, Zhe-Han Mo, Jia-Jun Wang +6

机器人与具身多模态 arXiv HF

#127 ▲34 ★227 ❝1 2026-09-29

PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation

PixelUMM 不用视觉编码器，直接在像素空间统一图像和视频的理解与生成。

NVIDIA · Cong Wei, Xuanchi Ren, Bryan Chu +8

多模态视觉生成 arXiv 代码 HF

#143 ▲51 ★81 ❝0 2026-10-14

Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation

Intern Lumina U2 用多码本扩散大模型在同一空间里统一视觉理解和图像生成。

Shanghai AI Laboratory · Qian Yu, Zongyang Qiu, Juncheng Yan +40

多模态视觉生成 arXiv 代码 HF

#146 ▲134 ★7 ❝0 2026-09-26

VoxMem: Benchmarking Multimodal Memory in Large Audio Language Models

VoxMem 评测音频大模型能否记住语音里“谁说的、怎么说的、听到了什么”等转写之外的信息。

The University of Melbourne · Yang Xiao, Vidhyasaharan Sethu, Eun-Jung Holden +1

多模态评测与数据 arXiv 代码 HF

#148 ▲60 ★135 ❝0 2026-10-13

OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding

OmniCompass 分视觉和音视频两条赛道，全面评测模型的视频定位与理解能力。

VCLab · Xuyang Liu, Shihao Wang, Xinyu Wei +5

多模态评测与数据 arXiv 代码 HF

#152 ▲64 ★90 ❝0 2026-09-19

Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World

Spatial-Interactor 用“观察-动作-新观察”的交互轨迹训练视觉语言模型的动态空间推理。

ZJU-OmniAI · Kaixiang Yao, Xu Wang, Miao Pan +10

多模态推理 arXiv 代码 HF

#155 ▲77 ★58 ❝0 2026-09-21

Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings

Ovis-Embedding 基于全模态底座，把文本、图像、视频和音频编码到同一个向量空间。

ATH-MaaS · Ovis-Embedding Team

多模态 arXiv 代码 HF

#168 ▲38 ★625 ❝0 2026-09-29

HelixWorld: A Real-time Interactive Audio-Visual World Model

HelixWorld 是实时可交互的音视频世界模型，画面和立体声随用户操作同步变化。

NoizAI · Lei Ke, Jiahao Pan, Zeyue Tian +13

视觉生成多模态 arXiv 代码 HF

#178 ▲37 ★86 ❝0 2026-10-14

DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding

DeltaStreamer 模仿人类观察方式，结合变化感知记忆和按需回放，理解流式视频。

ByteDance · Boyuan Sun, Deshui Miao, Wenzhao Gao +8

多模态智能体 arXiv 代码 HF

#187 ▲90 ❝1 2026-09-25

Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue

Duplex-MPE 用 2000 个多人对话场景，评测全双工语音助手何时该接话、沉默或停下。

Peking University · Chengqian Ma, Wenhao Feng, Weixuan Jin +7

多模态评测与数据 arXiv HF

#190 ▲175 ❝0 2026-10-15

Learning to Think and Explore in 3D World

让视觉语言模型像人一样一次看一张图，在 3D 环境中边推理边移动视角再作答，用 RL 训练。

University of California at San Diego · Yijiang Li, Bingyang Wang, Nuno Vasconcelos

多模态强化学习推理 arXiv HF

#195 ▲41 ★233 ❝0 2026-10-06

WorldSonus: Bringing Sound to Worlds

WorldSonus 为世界模型实时生成与画面和相机运动对齐的立体声，并支持中途指令控制。

NoizAI · Pengjun Fang, Jingyi Fa, Kam Man Wu +9

视觉生成多模态 arXiv 代码 HF

#198 ▲57 ★17 ❝0 2026-09-29

OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?

研究视觉生成训练何时能提升视觉理解：配方对时，图生图训练能带来理解任务的增益。

UC Berkeley · Jiaxin Ge, Yiming Qin, Ji Xie +13

多模态视觉理解与 3D arXiv 代码 HF

#200 ▲106 ★4 ❝0 2026-09-30

WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents

WorldAuditBench 让多模态 Agent 在 3D 世界中移动搜寻漂浮物体、穿墙等异常。

University of California, Santa Barbara · Ziyan Jiang, Jingbo Yang, Jiabao Ji +5

多模态智能体评测与数据 arXiv 代码 HF

#209 ▲145 ❝0 2026-10-05

VepAgent: Bridging Causal-Transition via Tool-Augmented Reinforcement Learning for Video Event Prediction

VepAgent 把因果转移推理与工具增强强化学习结合，用于预测视频中接下来会发生的事件。

UCSC-VLAA · Qiutong Chen, Yuchan Guo, Zhenlong Yuan +10

多模态强化学习推理 arXiv HF

#218 ▲55 ★37 ❝0 2026-10-14

Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory

综述多模态智能体记忆机制的演进：从感知、维护到可学习的记忆管理。

Fudan University · Minghao Guo, Qingyue Jiao, Xiujin Liu +77

多模态智能体 arXiv 代码 HF

#224 ▲25 ★185 ❝0 2026-10-14

BlenderWorld: Benchmarking Visual Agents for 3D Creation from Real-World References

Qwen 的 BlenderWorld 基准测视觉智能体能否照真实参考图在 Blender 中创建和编辑 3D 内容。

Qwen · Xinyu Fang, Yuchi Wang, Weihao Yu +12

评测与数据智能体多模态 arXiv 代码 HF

#227 ▲68 ★14 ❝0 2026-09-30

Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

StereoBind 让生成视频中的立体声声源位置随画面物体运动而变化，用于沉浸式音视频生成。

机构待核实 · Hanmo Chen, Chengcheng Liu, Tianxiao Chen +7

多模态视觉生成 arXiv 代码 HF

#228 ▲75 ★11 ❝0 2026-09-30

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

EgoTools 关注真实第一视角视频中的工具使用推理，评测并提升模型对手-工具-物体关系的理解。

Ropedia · Shulin Tian, Junsu Kim, Shuai Liu +17

多模态推理评测与数据 arXiv 代码 HF

#232 ▲25 ★826 ❝0 2026-10-15

Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling

Intern-Decision 系列小模型直接输出结构化选项及其概率，替代逐字生成，让智能体决策更快。

Intern Large Models · Tong Zhu, Zhe Xu, Zefeng He +7

多模态智能体高效训练与推理 arXiv 代码 HF

#248 ▲45 ★45 ❝0 2026-10-16

Xiaomi-Lens-0 Technical Report

Xiaomi-Lens-0 是基于 Qwen3.5 的 4B 多模态模型，能直接从自身视觉表征预测分割掩码。

SeerRay-Lab · Pei Fu, Yike Liu, Yue Sun +13

视觉理解与 3D 多模态 arXiv 代码 HF

#250 ▲52 ★34 ❝0 2026-10-09

Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction

Work2Skill 记录人类在图形界面上的操作经验，归纳成可复用的电脑使用智能体技能。

Nex AGI · Yuqi Huang, Hui Li, Yifei Cao +9

智能体多模态 arXiv 代码 HF

#251 ▲60 ★24 ❝0 2026-10-01

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

用多模态大模型的空间理解来管理长期记忆，让世界模型在长视频生成中保持空间一致。

机构待核实 · Ying Yang, Guiyu Zhang, Lianghua Huang +5

视觉生成多模态 arXiv 代码 HF

#253 ▲50 ★31 ❝0 2026-09-28

Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning

用交错强化学习联合训练统一多模态模型的“反思文本”和图像生成，让它能自查并修图。

MMLab@NTU · Yijia Fan, Ziqi Huang, Zhongang Cai +5

多模态强化学习视觉生成 arXiv 代码 HF

#267 ▲115 ❝0 2026-09-29

MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation

MotorMind 为通用视觉语言模型搭建脚手架，让它不经专门训练就能零样本操控机器人。

University of Illinois at Urbana-Champaign · Bingxuan Li, Siqi Song, Yizhuo Wu +3

机器人与具身多模态 arXiv HF

#274 ▲46 ★22 ❝0 2026-10-10

BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries

BridgeWAM 用 32 个潜在桥接查询连接视频专家与动作专家，替代逐层稠密耦合，动作头只需两层。

Fudan University · Jiaxin Fang, Ruitong Liu, Zeyu Lai +6

机器人与具身多模态 arXiv 代码 HF

#275 ▲34 ★14 ❝0 2026-10-15

Can Visual Generation Expand What Unified Multimodal Models Know?

用受控实验检验统一多模态模型能否通过学画图获得新知识并用文字答出，发现存在迁移但不均衡。

Z.ai · Wenkai Li, Wenyi Hong, Zhuoyi Yang +1

多模态 arXiv 代码 HF

#276 ▲69 ❝1 2026-09-30

PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop

PhysVista 通过“感知-推理-判断”闭环评测视觉语言模型的物理常识与判断能力。

university of science and technology of china · Xinge Peng, Yiting Lu, Tianwu Zhi +4

多模态评测与数据推理 arXiv HF

#277 ▲29 ★19 ❝0 2026-10-13

Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence

Open-o3-Video-v2 让模型在视频推理中主动补看画面，并把时间点和物体框写入推理过程作为可验证证据。

Peking University · Jiahao Meng, Zhongyuan Bao, Yue Tan +7

多模态推理智能体 arXiv 代码 HF

#293 ▲28 ★6 ❝0 2026-10-05

MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents

MemPilot 用强化学习训练策略，按性能、成本和延迟偏好按需整理多模态记忆，决定检索还是交给不同模型处理。

Nanyang Technological University · Haozhen Zhang, Haodong Yue, Quanyu Long +6

智能体多模态 arXiv 代码 HF

更早（归档） 1

▲82 ★216 ❝0 2026-09-18

OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue

定义“原生音视频对话”任务，并配套合成数据、评测基准和训练方法。

Qwen · Haolin He, Yunfei Chu, Qi Chen +15

多模态评测与数据 arXiv 代码 HF

在归档中检索该主题 →