arXiv 2610.25060 · cs.LG · 2026-10-18

Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On

Vahid Jebraeeli, Jonathon Romero, Yijin Wang, Adrian Chan, Jianbang Zhang

机构待核实

一句话要点

安全基准实际上衡量的是训练时所采用的‘危险’定义，而非模型的真实能力，且其分数受标签定义显著影响，存在严重污染和混淆。

Safety benchmarks measure training policy definitions, not model capability, and are highly sensitive to label definitions.

要点

安全评估误将文本属性当作危险性，实则反映的是训练时所用政策定义，模型本身并无直接判断能力。
同一训练数据在不同标签标准下产生显著差异，十种安全模块在HarmBench和WildGuard上的得分差距达23倍，说明基准结果高度依赖标签定义。
仅0.03%参数变化即可导致基准分数大幅波动，表明模型表现受训练标签政策的微小扰动影响，存在严重可塑性问题。
验证准确率与标注者政策一致性强（相关系数0.74），而非检测能力，说明评估结果反映的是训练过程中的标签偏见，而非真实安全性能。

English overview

Safety benchmarks do not evaluate model capability but reflect the training policy's definition of 'unsafe'. The study shows that benchmark scores vary dramatically based on label definitions, with significant contamination from training data. Performance differences across models are driven by policy labels rather than detection ability, and validation aligns more with annotator policy than actual safety detection.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

16HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论