// AI 新闻 · 2026-11-02 · Hugging Face Forum
PT-BR类型决策基准发布12个外部模型评测
Hugging Face论坛发布PT-BR类型决策基准，对12个外部模型在5196个测试项上的表现进行评估，涵盖七项巴西葡萄牙语任务。模型需从给定选项中选择类型化答案，主要指标为七项任务的平衡准确率，包含选项顺序随机化和置信区间计算。所有结果基于本地运行，不涉及硬件性能对比或通用对话质量评估。
原文发布 2026-11-02 01:48（北京时间）来源 Hugging Face Forum自动整理 · 已核对原文
01摘要
评测流程包括烟雾测试（每任务两个样例）与完整评估（全部5196项），参与者需提供固定版本模型、运行环境、上下文设置及硬件信息，并通过验证脚本确认报告完整性。提交内容包括模型链接、报告JSON、运行参数和是否针对任务进行过微调声明，所有数据公开但不包含私有信息。Saracura两个模型因已针对基准任务微调，被单独展示，未参与主排名。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 对12个外部模型在5196个巴西葡萄牙语任务项上进行类型化决策评估
- 主要指标为七项任务的平衡准确率，包含选项随机化和置信区间
- 评测依赖本地运行，不涉及硬件性能对比或通用对话能力判断
- 提交需包含模型版本、运行环境、微调信息及验证通过的JSON报告
03原文出处
PT-BR typed-decision benchmark: 12 external models and an open evaluation/submission guide
Hugging Face Forum · 发布于 2026-11-02 01:48（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-02 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日