// AI 新闻 · 2026-10-30 · IT之家
AI 模型处理不同语言成本差异可达 17 倍
人工智能语言公平研究联盟于上月发布研究报告，指出AI模型在处理不同语言时，Token消耗量存在显著差异。研究显示，在覆盖20种常用语言的测试中，消耗量最高为最低的1.5至5倍；当扩展至200种语言时，差距扩大，部分模型中不同语言的Token消耗最多相差17倍。该差异源于分词器对语言结构的处理效率不同，被称为‘分词器税’，导致非主流语言用户面临更高成本与更慢响应、更短上下文容量。
原文发布 2026-10-30 12:25（北京时间）来源 IT之家自动整理 · 已核对原文
01摘要
研究指出，使用人数少或文字系统不常见语言的地区受影响尤为严重。印度初创企业Activate AI联合创始人普拉蒂尤什·乔杜里表示，这类语言下相同上下文容量能容纳的文档和对话记录更少，影响教学等实际应用。专家认为，当前多数分词器仍以英语为主优化，缺乏高质量多语言数据与针对性设计，需通过提升训练数据质量及改进分词器架构来缩小语言间差距。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- AI 模型处理不同语言的 Token 消耗量最高可达 17 倍
- 非主流语言用户因‘分词器税’面临更高成本与更慢响应
- 当前多数分词器以英语为主优化，缺乏对低资源语言的支持
- 提升多语言数据质量和改进分词器设计是关键改善路径
03原文出处
新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍
IT之家 · 发布于 2026-10-30 12:25（北京时间）
05同主题新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 全部 AI 新闻 · 今日