低成本分类器用于路由 Gemini 模型决策

通过在调用高成本推理模型前加入一个低成本的分类层，可避免对简单问题进行昂贵的深度推理。研究测试了 TypeSafe 公司开发的 Jev 分类器在 50 个编程任务中的表现，发现基于单一判断的粗粒度路由存在严重偏差，而将决策分解为原子级判断后，分类准确率显著提升。在 16 个初始任务中，Jev 第一次运行正确识别 13/16，第二次达到 14/16。对比本地规则（如正则表达式和长度阈值）发现，其在未见任务上准确率从 93.8% 下降至 70.6%，而 Jev 在全部 34 个新任务中实现 100% 正确分类。研究还指出，设置 maxOutputTokens 限制无法减少推理成本，因为简单任务的输出远未达到该上限，模型实际消耗的思考 token 几乎相同。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。