arXiv 2606.31876 · cs.AI · 2026-06-30

Harnessing Textual Refusal Directions for Multimodal Safety

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

Multimedia and Human Understanding Group

新论文

一句话要点

通过从语言模型中提取文本拒绝指令，无需多模态安全数据即可实现跨模态的安全对齐，MARS方法在保持性能的同时显著提升了图像、视频等多模态输入的安全性。

MARS uses textual refusal signals from LLMs to enable modality-agnostic safety without multimodal training data.

要点

多模态大语言模型的安全对齐传统依赖难以收集且存在伦理风险的多模态不安全数据，本文提出利用语言模型自身生成的拒绝指令替代该数据。
通过分析不同层的激活响应发现，拒绝指令在图像和视频等不同模态中具有泛化能力，但效果受干预层选择、强度调节及跨模态对齐影响。
MARS方法无需额外训练，直接在生成首个token时注入安全引导，通过激活中心化和信任区域自适应调节，在五种顶尖模型上实现安全提升且不牺牲功能性能。
研究发现多模态安全结构具有共享性，表明文本拒绝指令是跨模态对齐的重要基础，为安全对齐提供了轻量、可扩展的新路径。

English overview

This work proposes MARS, a training-free method that leverages textual refusal signals from LLMs to achieve multimodal safety without requiring unsafe multimodal data. It addresses modality misalignment through activation centering and adaptive steering strength within a trust region. MARS achieves consistent safety improvements across image, video, and text inputs while preserving utility, demonstrating the generalizability of refusal directions across modalities.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

24HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论代码仓库