Skip to content
简体中文

切换主题

// AI 新闻 · 2026-11-07 · Nature

MultiSHAP框架用于解释多模态AI模型中的跨模态交互

研究人员提出MultiSHAP框架,一种基于Shapley值的可解释性方法,用于分析多模态人工智能模型中视觉与文本元素之间的细粒度交互。该框架无需访问模型参数、梯度或注意力权重,仅需一个可查询接口,支持对视觉和文本输入分别扰动并返回任务相关评分。

原文发布 2026-11-07 08:00(北京时间)来源 Nature自动整理 · 已核对原文

01摘要

MultiSHAP能够提供实例级解释,说明特定视觉与文本元素如何共同影响模型输出,并生成数据集层面的交互模式总结。实验表明,该方法能捕捉行为上相关的输入级交互,且在图像块与文本token之间的对应关系中发现超越单模态显著性之外的信息,适用于具体多模态决策的分析。研究基于视觉-语言模型展开,其交互建模思路可扩展至其他模态组合。

由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。

02要点

03原文出处

MultiSHAP: a Shapley-based framework for explaining cross-modal interactions in multimodal AI models

Nature · 发布于 2026-11-07 08:00(北京时间) · 上方为原标题

05相关新闻

出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 2026-11-07 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

数据更新于:AI 新闻(北京时间)