// AI 新闻 · 2026-10-28 · Hugging Face Blog
AI模型评估科研想法新颖性可靠性研究
Ai2团队在Hugging Face博客发布新研究，系统评估大型语言模型判断科研想法新颖性的能力。研究构建了基于ICLR 2026评审意见的基准数据集，从中提取明确讨论创新性的文本，形成高新颖性与低新颖性的人类提出想法池，并测试不同LLM在区分二者上的表现。
原文发布 2026-10-28 00:12（北京时间）来源 Hugging Face Blog自动整理 · 已核对原文
01摘要
实验发现，微小的提示词变化可使模型判断准确率波动超过50个百分点；检索和额外推理未显著提升判断一致性，专为新颖性设计的系统甚至不如基础提示的Claude Opus 4.6模型。研究还构建了人类与AI生成想法并列的对比场景，发现AI生成内容在新颖性判断中常被误判，且专家评审显示其写作风格差异并非核心原因。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 研究基于ICLR 2026评审中明确提及新颖性的文本构建了高/低新颖性的人类想法池。
- 六种LLM在相同任务下因提示微调导致判断准确率波动超50个百分点，结果高度不稳定。
- 检索与额外推理未显著提升判断准确性，定制化新颖性系统表现不如基础提示模型。
- AI生成想法在新颖性评估中常被误判，专家评审显示其写作风格差异非主要影响因素。
03原文出处
Can we trust LLMs to judge whether a research idea is novel?
Hugging Face Blog · 发布于 2026-10-28 00:12（北京时间） · 上方为原标题
05同主题新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 全部 AI 新闻 · 今日