工具调用与 Agent · %
τ²-bench
Sierra 的客服 agent 基准：agent 要遵守业务规则并调用工具，对面是由大模型模拟的用户（零售、航空、电信、银行）。
测什么
各领域 pass^1（来源中的 pass^k 衡量重复 k 次都成功的可靠性）。
局限
不少条目由模型厂商自己提交（标为“厂商自报”）；提示补充和模拟用户所用模型各不相同。
数据污染风险: 中
任务在仓库中公开。
排行 · 子集 / 设定: retail
23 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Gemini 3.0 Pro | 85.3% | 2 | retail domain, pass^1; submitted by Sierra; vv0.1.3 | 官方榜单 | 2025年11月18日 | |
| 2 | Qwen3.5 397B-A17BOW | Alibaba (Qwen) | 84.4% | 3 | retail domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1“Qwen3.5-397B-A17B” | 官方榜单 | 2026年2月27日 |
| 3 | Nemotron-Orchestrator-8B | NVIDIA | 84.2% | 4 | retail domain, pass^1; submitted by NVIDIA; v0.1.3 | 厂商自报 | 2025年9月15日 |
| 4 | RAFT-30B-A3B | Northeastern University HAI Lab | 82.5% | 5 | retail domain, pass^1; submitted by Northeastern University HAI Lab | 厂商自报 | 2026年4月30日 |
| 5 | Claude Opus 4.1 | Anthropic | 82.4% | 6 | retail domain, pass^1; submitted by Anthropic; voriginal tau-bench | 厂商自报 | 2025年8月5日 |
| 6 | GPT-5.2 | OpenAI | 81.6% | 7 | retail domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 7 | GPT-5 | OpenAI | 81.6% | 7 | retail domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年8月9日 |
| 8 | Claude Opus 4 | Anthropic | 81.4% | 9 | retail domain, pass^1; submitted by Anthropic; voriginal tau-bench | 厂商自报 | 2025年5月22日 |
| 9 | DeepSeek-V3.2OW | DeepSeek | 81.1% | 10 | retail domain, pass^1; submitted by DeepSeek; vv0.1.3 | 厂商自报 | 2025年12月1日 |
| 10 | Claude Sonnet 4 | Anthropic | 80.5% | 11 | retail domain, pass^1; submitted by Anthropic; voriginal tau-bench | 厂商自报 | 2025年5月22日 |
| 11 | Claude Opus 4.5 | Anthropic | 79.6% | 12 | retail domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 12 | Gemini 3 Flash | 76.8% | 14 | retail domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 13 | Gemini 3 Pro | 75.9% | 15 | retail domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 14 | Qwen3-Max-Thinking-Preview | Alibaba (Qwen) | 75.4% | 16 | retail domain, pass^1; submitted by Qwen; vv0.1.3 | 厂商自报 | 2025年10月30日 |
| 15 | GPT-4.1 | OpenAI | 74.0% | 18 | retail domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年6月9日 |
| 16 | o3 | OpenAI | 73.9% | 19 | retail domain, pass^1; submitted by OpenAI; v0.1.3 | 厂商自报 | 2025年4月16日 |
| 17 | GLM-5OW | Zhipu AI (Z.ai) | 73.7% | 20 | retail domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月27日 |
| 18 | Claude Sonnet 4.5 | Anthropic | 72.4% | 21 | retail domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月24日 |
| 19 | Qwen3-Max | Alibaba (Qwen) | 72.2% | 22 | retail domain, pass^1; submitted by Alibaba; v0.1.3 | 官方榜单 | 2024年9月23日 |
| 20 | Claude 3.7 Sonnet | Anthropic | 72.1% | 23 | retail domain, pass^1; submitted by Sierra; v0.1.3“Claude-3.7-Sonnet” | 官方榜单 | 2025年6月9日 |
| 21 | Kimi K2 ThinkingOW | Moonshot AI | 70.6% | 24 | retail domain, pass^1; submitted by Moonshot AI; v0.1.3“Kimi-k2” | 厂商自报 | 2025年7月28日 |
| 22 | o4-mini | OpenAI | 68.3% | 25 | retail domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年6月9日 |
| 23 | GPT-4.1 mini | OpenAI | 61.4% | 26 | retail domain, pass^1; submitted by Sierra; v0.1.3“GPT-4.1-mini” | 官方榜单 | 2025年6月9日 |
排行 · 子集 / 设定: airline
22 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.5 | Anthropic | 84.0% | 1 | airline domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 2 | GPT-5.2 | OpenAI | 83.0% | 2 | airline domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 3 | Gemini 3 Flash | 82.5% | 3 | airline domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 4 | GLM-5OW | Zhipu AI (Z.ai) | 82.5% | 3 | airline domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月27日 |
| 5 | Qwen3.5 397B-A17BOW | Alibaba (Qwen) | 81.5% | 5 | airline domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1“Qwen3.5-397B-A17B” | 官方榜单 | 2026年2月27日 |
| 6 | Gemini 3 Pro | 80.5% | 6 | airline domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 7 | Gemini 3.0 Pro | 73.0% | 7 | airline domain, pass^1; submitted by Sierra; vv0.1.3 | 官方榜单 | 2025年11月18日 | |
| 8 | Claude Sonnet 4.5 | Anthropic | 72.0% | 8 | airline domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月24日 |
| 9 | Qwen3-Max-Thinking-Preview | Alibaba (Qwen) | 71.0% | 9 | airline domain, pass^1; submitted by Qwen; vv0.1.3 | 厂商自报 | 2025年10月30日 |
| 10 | Claude 3.7 Sonnet | Anthropic | 64.2% | 12 | airline domain, pass^1; submitted by Sierra; v0.1.3“Claude-3.7-Sonnet” | 官方榜单 | 2025年6月9日 |
| 11 | DeepSeek-V3.2OW | DeepSeek | 63.8% | 13 | airline domain, pass^1; submitted by DeepSeek; vv0.1.3 | 厂商自报 | 2025年12月1日 |
| 12 | GPT-5 | OpenAI | 62.5% | 14 | airline domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年8月9日 |
| 13 | Claude Sonnet 4 | Anthropic | 60.0% | 15 | airline domain, pass^1; submitted by Anthropic; voriginal tau-bench | 厂商自报 | 2025年5月22日 |
| 14 | Claude Opus 4 | Anthropic | 59.6% | 16 | airline domain, pass^1; submitted by Anthropic; voriginal tau-bench | 厂商自报 | 2025年5月22日 |
| 15 | Qwen3-Max | Alibaba (Qwen) | 59.5% | 17 | airline domain, pass^1; submitted by Alibaba; v0.1.3 | 官方榜单 | 2024年9月23日 |
| 16 | Kimi K2 ThinkingOW | Moonshot AI | 56.5% | 18 | airline domain, pass^1; submitted by Moonshot AI; v0.1.3“Kimi-k2” | 厂商自报 | 2025年7月28日 |
| 17 | Claude Opus 4.1 | Anthropic | 56.0% | 19 | airline domain, pass^1; submitted by Anthropic; voriginal tau-bench | 厂商自报 | 2025年8月5日 |
| 18 | GPT-4.1 | OpenAI | 56.0% | 19 | airline domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年6月9日 |
| 19 | Nemotron-Orchestrator-8B | NVIDIA | 56.0% | 19 | airline domain, pass^1; submitted by NVIDIA; v0.1.3 | 厂商自报 | 2025年9月15日 |
| 20 | o4-mini | OpenAI | 52.1% | 23 | airline domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年6月9日 |
| 21 | o3 | OpenAI | 52.0% | 24 | airline domain, pass^1; submitted by OpenAI; v0.1.3 | 厂商自报 | 2025年4月16日 |
| 22 | GPT-4.1 mini | OpenAI | 48.7% | 25 | airline domain, pass^1; submitted by Sierra; v0.1.3“GPT-4.1-mini” | 官方榜单 | 2025年6月9日 |
排行 · 子集 / 设定: banking
27 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Qwen 3.8 Max | Alibaba (Qwen) | 55.2% | 1 | banking_knowledge domain, pass^1; effort: xhigh; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年8月3日 |
| 2 | Claude Opus 5 | Anthropic | 48.7% | 2 | banking_knowledge domain, pass^1; effort: max; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年8月3日 |
| 3 | Grok 4.5 | xAI | 47.9% | 3 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月24日 |
| 4 | GPT-5.6 Sol | OpenAI | 46.9% | 4 | banking_knowledge domain, pass^1; effort: xhigh; submitted by Sierra; v1.0.1“GPT-5.6-sol” | 官方榜单 | 2026年7月22日 |
| 5 | GPT-5.5 | OpenAI | 44.6% | 5 | banking_knowledge domain, pass^1; effort: xhigh; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月22日 |
| 6 | Muse Spark 1.1 | Meta | 40.5% | 6 | banking_knowledge domain, pass^1; effort: xhigh; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月23日 |
| 7 | Claude Opus 4.7 | Anthropic | 40.2% | 7 | banking_knowledge domain, pass^1; effort: max; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月23日 |
| 8 | Claude Fable 5 | Anthropic | 39.7% | 8 | banking_knowledge domain, pass^1; effort: max; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月23日 |
| 9 | Claude Opus 4.8 | Anthropic | 39.7% | 8 | banking_knowledge domain, pass^1; effort: max; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月23日 |
| 10 | GPT-5.4 | OpenAI | 39.4% | 10 | banking_knowledge domain, pass^1; effort: xhigh; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月6日 |
| 11 | GLM-5.2OW | Zhipu AI (Z.ai) | 37.1% | 11 | banking_knowledge domain, pass^1; effort: xhigh; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月24日 |
| 12 | Kimi K3OW | Moonshot AI | 37.1% | 11 | banking_knowledge domain, pass^1; effort: max; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月24日 |
| 13 | GPT-5.2 | OpenAI | 32.2% | 13 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 14 | Distyl ButtonAgent | Distyl AI | 31.2% | 14 | banking_knowledge domain, pass^1; effort: high; submitted by Distyl AI; v0.2.1-dev | 厂商自报 | 2026年3月25日 |
| 15 | Claude Opus 4.6 | Anthropic | 27.3% | 15 | banking_knowledge domain, pass^1; effort: max; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月6日 |
| 16 | Gemini 3 Flash | 27.3% | 15 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 17 | Gemini 3.1 Pro | 26.0% | 17 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1“Gemini 3.1 Pro Preview” | 官方榜单 | 2026年5月5日 | |
| 18 | Claude Sonnet 4.5 | Anthropic | 25.3% | 18 | banking_knowledge domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月24日 |
| 19 | InklingOW | Thinking Machines | 25.0% | 19 | banking_knowledge domain, pass^1; effort: max; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年7月24日 |
| 20 | Claude Opus 4.5 | Anthropic | 24.7% | 20 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 21 | Gemini 3 Pro | 18.0% | 21 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 22 | Grok 4.2 | xAI | 18.0% | 21 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 23 | Grok 4 fast | xAI | 15.7% | 23 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 24 | Gemini 2.5 Pro (Jun 2025) | 13.7% | 24 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1“Gemini 2.5 Pro” | 官方榜单 | 2026年5月5日 | |
| 25 | Grok 4.1 fast | xAI | 13.1% | 25 | banking_knowledge domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 26 | GLM-5OW | Zhipu AI (Z.ai) | 9.8% | 27 | banking_knowledge domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月27日 |
| 27 | Qwen3.5 397B-A17BOW | Alibaba (Qwen) | 9.8% | 27 | banking_knowledge domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1“Qwen3.5-397B-A17B” | 官方榜单 | 2026年2月27日 |
排行 · 子集 / 设定: telecom
18 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Gemini 3.0 Pro | 98.0% | 2 | telecom domain, pass^1; submitted by Sierra; vv0.1.3 | 官方榜单 | 2025年11月18日 | |
| 2 | Qwen3.5 397B-A17BOW | Alibaba (Qwen) | 97.8% | 4 | telecom domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1“Qwen3.5-397B-A17B” | 官方榜单 | 2026年2月27日 |
| 3 | DeepSeek-V3.2OW | DeepSeek | 96.2% | 5 | telecom domain, pass^1; submitted by DeepSeek; vv0.1.3 | 厂商自报 | 2025年12月1日 |
| 4 | GPT-5 | OpenAI | 95.8% | 6 | telecom domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年8月9日 |
| 5 | Qwen3-Max-Thinking-Preview | Alibaba (Qwen) | 95.8% | 6 | telecom domain, pass^1; submitted by Qwen; vv0.1.3 | 厂商自报 | 2025年10月30日 |
| 6 | Claude Opus 4.5 | Anthropic | 92.3% | 8 | telecom domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 7 | Gemini 3 Flash | 91.2% | 9 | telecom domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 8 | Gemini 3 Pro | 91.0% | 10 | telecom domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年3月2日 | |
| 9 | GPT-5.2 | OpenAI | 89.7% | 11 | telecom domain, pass^1; effort: high; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年5月5日 |
| 10 | Nemotron-Orchestrator-8B | NVIDIA | 88.6% | 12 | telecom domain, pass^1; submitted by NVIDIA; v0.1.3 | 厂商自报 | 2025年9月15日 |
| 11 | GLM-5OW | Zhipu AI (Z.ai) | 86.8% | 13 | telecom domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月27日 |
| 12 | Claude Sonnet 4.5 | Anthropic | 84.9% | 14 | telecom domain, pass^1; effort: enabled; submitted by Sierra; v1.0.1 | 官方榜单 | 2026年2月24日 |
| 13 | Qwen3-Max | Alibaba (Qwen) | 84.2% | 15 | telecom domain, pass^1; submitted by Alibaba; v0.1.3 | 官方榜单 | 2024年9月23日 |
| 14 | Kimi K2 ThinkingOW | Moonshot AI | 65.8% | 16 | telecom domain, pass^1; submitted by Moonshot AI; v0.1.3“Kimi-k2” | 厂商自报 | 2025年7月28日 |
| 15 | o4-mini | OpenAI | 50.2% | 18 | telecom domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年6月9日 |
| 16 | Claude 3.7 Sonnet | Anthropic | 49.0% | 19 | telecom domain, pass^1; submitted by Sierra; v0.1.3“Claude-3.7-Sonnet” | 官方榜单 | 2025年6月9日 |
| 17 | GPT-4.1 mini | OpenAI | 48.9% | 20 | telecom domain, pass^1; submitted by Sierra; v0.1.3“GPT-4.1-mini” | 官方榜单 | 2025年6月9日 |
| 18 | GPT-4.1 | OpenAI | 34.0% | 21 | telecom domain, pass^1; submitted by Sierra; v0.1.3 | 官方榜单 | 2025年6月9日 |
最高分变化
按评测日期，每一步表示本站数据中出现了新的最高分。
- 2024-09-2372.2%Qwen3-Max
- 2025-06-0974.0%GPT-4.1
- 2025-08-0981.6%GPT-5
- 2025-11-1885.3%Gemini 3.0 Pro
数据来源与许可
| 来源 | 许可 / 条款 | 本站使用方式 | 最近抓取 |
|---|---|---|---|
| τ²-bench leaderboard submissions Sierra Research, τ²-bench | MIT (repo) | 开放许可：完整收录并署名 | 2026年10月22日 |
常见问题
τ²-bench 测的是什么？
Sierra 的客服 agent 基准：agent 要遵守业务规则并调用工具，对面是由大模型模拟的用户（零售、航空、电信、银行）。 各领域 pass^1（来源中的 pass^k 衡量重复 k 次都成功的可靠性）。
τ²-bench 的结果可靠吗？
不少条目由模型厂商自己提交（标为“厂商自报”）；提示补充和模拟用户所用模型各不相同。 数据污染风险: 中 – 任务在仓库中公开。