// AI 新闻 · 2026-11-07 · Nature
MultiSHAP框架用于解释多模态AI模型中的跨模态交互
研究人员提出MultiSHAP框架,一种基于Shapley值的可解释性方法,用于分析多模态人工智能模型中视觉与文本元素之间的细粒度交互。该框架无需访问模型参数、梯度或注意力权重,仅需一个可查询接口,支持对视觉和文本输入分别扰动并返回任务相关评分。
原文发布 2026-11-07 08:00(北京时间)来源 Nature自动整理 · 已核对原文
01摘要
MultiSHAP能够提供实例级解释,说明特定视觉与文本元素如何共同影响模型输出,并生成数据集层面的交互模式总结。实验表明,该方法能捕捉行为上相关的输入级交互,且在图像块与文本token之间的对应关系中发现超越单模态显著性之外的信息,适用于具体多模态决策的分析。研究基于视觉-语言模型展开,其交互建模思路可扩展至其他模态组合。
由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。
02要点
- MultiSHAP基于Shapley值构建,用于量化视觉与文本元素间的细粒度交互
- 无需访问模型内部参数或注意力权重,仅依赖输入扰动接口获取输出评分
- 提供实例级解释和数据集层面的交互模式总结,支持具体决策分析
- 在视觉-语言模型中验证有效,其交互框架可扩展至其他模态组合
03原文出处
MultiSHAP: a Shapley-based framework for explaining cross-modal interactions in multimodal AI models
Nature · 发布于 2026-11-07 08:00(北京时间) · 上方为原标题
05相关新闻
出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 2026-11-07 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日