// AI 新闻 · 2026-11-10 · Apple Machine Learning Research

研究评估LLM评委在个性化写作风格判断中的表现

Apple Machine Learning Research团队于2026年8月发表论文，系统评估了大型语言模型（LLM）作为评委在个性化写作风格判断中的有效性。研究通过四项LLM生成三种长文本任务的响应，结合人类标注者对两份回应优劣的判断，以及LLM评委的成对排序结果，对比了人类与LLM评委的评估一致性。

阅读原文（Apple Machine Learning Research）↗

原文发布 2026-11-10 08:00（北京时间）来源 Apple Machine Learning Research自动整理 · 已核对原文

01摘要

研究发现，LLM评委的表现与通用能力（如MMLU测试）相关性弱（皮尔逊相关系数≤0.2），且受写作任务类型和评估标准（如通用实用性与风格个性化）显著影响。LLM在成对比较模式下比独立评分更一致、表现更优。此外，最强的LLM模型并未最可靠地复现人类判断，推测其过度关注人类标注者忽略的细微细节，导致判断偏差。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。

02要点

LLM评委在个性化写作风格评估中表现与通用能力（MMLU）相关性弱，皮尔逊相关系数不超过0.2。
评估效果受写作任务类型和评价标准（如通用性 vs 风格个性化）显著影响。
成对比较模式下，LLM评委比独立评分更一致、性能更优。
最强LLM模型未能最可靠复现人类判断，可能因过度敏感于被忽略的细微差异。

03原文出处

Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment

Apple Machine Learning Research · 发布于 2026-11-10 08:00（北京时间） · 上方为原标题

05相关新闻

出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-10 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

01摘要

02要点

03原文出处

04站内相关

05相关新闻