// AI 新闻 · 2026-11-08 · Dev.to LLM
LLM判官从本地运行到每条对话低于一卢比
作者构建了一个LLM判官，用于每日评估数万条AI客服对话的合规性与质量，最初每条对话成本约为3卢比。该判官基于完整对话流进行评分，而非单个回复，并结合产品上下文和规则文件判断答案是否符合标准。关键设计包括引入合规文件（YAML格式）定义“良好回答”的特征范围，以及明确评估正确性、可用性和语气三个维度。
原文发布 2026-11-08 01:49（北京时间）来源 Dev.to LLM自动整理 · 已核对原文
01摘要
经过两个月优化，通过使用Gemini Batch API实现批量请求并引入提示缓存等技术，将成本降至每条对话不足1卢比，使该判官具备了大规模部署可行性。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 判官基于完整对话流评分，而非单个回复，确保上下文连贯性。
- 通过合规文件定义‘良好回答’的特征范围，避免硬编码答案，提升适应性。
- 评估维度涵盖正确性、可用性和语气，兼顾功能与用户体验。
- 借助Gemini Batch API和提示缓存技术，将单条对话成本降至不足1卢比。
03原文出处
The Evolution of an LLM Judge: From “It Works on My Laptop” to Under a Rupee a Conversation
Dev.to LLM · 发布于 2026-11-08 01:49（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-08 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日