// AI 新闻 · 2026-11-11 · Towards Data Science
Scikit-Learn 与 Jev 在 BANKING77 数据集上的校准性能对比
TypeSafe AI 推出的 Jev 模型在 2026 年 9 月 15 日发布，其无需训练即可基于最多三个示例完成意图分类。研究者使用 scikit-learn 重建了相同任务流程，测试发现 Jev 在七类意图子集上的校准误差（ECE）为 0.014，与温度缩放的逻辑回归模型（ECE 0.022）相当；在完整 77 类意图任务中，开放模型校准表现更优（ECE 0.031 vs 0.065）。Jev 通过提示工程实现低样本训练，但其在真实情况下的置信度仍偏低，且仍存在‘无选项匹配’问题。
原文发布 2026-11-11 00:30（北京时间）来源 Towards Data Science自动整理 · 已核对原文
01摘要
Jev 提供三种回答类型：选择、评分和是/否判断，并附带独立的置信度值。实验表明，两类模型均因阈值比较导致框架不一致，且多数决策依赖于两个不同校准值的对比。开放模型与 Jev 均面临‘无选项覆盖’陷阱，说明当前方法难以完全解决实际场景中的意图缺失问题。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- Jev 无需训练，仅需每个意图最多三个示例即可完成分类任务。
- 在七类意图子集上，Jev 与温度缩放逻辑回归的校准误差相近，均值分别为 0.014 和 0.022。
- 在完整 77 类任务中，开放模型校准表现优于 Jev（0.031 vs 0.065），但两者均存在‘无选项匹配’问题。
- Jev 的是/否回答置信度偏低，且决策依赖于两个不同校准值的阈值比较，导致框架不一致。
03原文出处
Scikit-Learn Matched or Beat Jev's Calibration on BANKING77
Towards Data Science · 发布于 2026-11-11 00:30（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-11 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日