// AI 新闻 · 2026-11-12 · Google AI Changelog
谷歌Agent异常检测在公开基准测试中表现优异
谷歌在Gemini企业代理平台推出Agent异常检测功能,通过读取代理运行日志异步分析其行为,识别偏离预期目标的会话。该功能在五个非谷歌撰写的公开代理安全基准测试中进行验证,涵盖目标劫持与工具滥用等风险场景,在代理实际执行有害指令的案例中,检测准确率达到87%。测试覆盖了AgentDojo、InjecAgent、Agent Security Bench、AgentDyn和AgentHarm等多个基准,其中在AgentDyn中达到99%的检测率,整体表现稳定且对工具输出中的隐藏指令具有较强识别能力。
原文发布 2026-11-12 08:00(北京时间)来源 Google AI Changelog自动整理 · 已核对原文
01摘要
该系统在代理拒绝执行或未读取有害指令的情况下仍能有效标记部分风险场景,尤其在用户直接请求或工具返回指令时表现突出。然而,在代理长期记忆被污染(poisoned memory)的场景中,检测准确率仅为4/18,为当前短板。所有测试均基于真实代理行为日志,由确定性代码判断结果,避免了模型干扰或作弊,确保评估客观性。
由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。
02要点
- 在五个公开基准测试中,Agent异常检测对实际执行的有害指令识别率达87%。
- 在工具返回指令或用户直接请求场景下,系统能有效发现代理越权行为。
- 对隐藏于工具输出中的指令识别效果有限,尤其在长期记忆被污染时准确率仅4/18。
- 检测在多数应用中表现稳定,最低为63%,但对微小操作类请求的识别仍存在挑战。
03原文出处
How Agent Anomaly Detection scores on benchmarks we didn't write
Google AI Changelog · 发布于 2026-11-12 08:00(北京时间) · 上方为原标题
05相关新闻
- 同来源 · Google 使用 Gemini 与 Z3 捕获 Go 代码中模糊测试遗漏的潜在崩溃2026-11-12 · Google AI Changelog
- 同来源 · Google发布A2UI 1.0开放协议以支持生成式交互界面2026-11-11 · Google AI Changelog
- 同主题 · Hugging Face 推出 TRELLIS.2 模型微调指南2026-11-12 · Hugging Face Blog
- 同主题 · 谷歌研究提出基于可穿戴设备的CKM风险个性化健康指导框架2026-11-12 · Google Research Blog
- 同日 · 语言模型对齐的理论极限研究2026-11-12 · Apple Machine Learning Research
出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 2026-11-12 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日