据 Rest of World 报道，Coalition for Language Equity in AI Research 上月发表的一项研究发现，AI 模型处理不同语言所需的 token 数量存在显著差距，研究人员将其称为隐藏的「分词税」。这种差异可能让网上内容较少的语言使用者承担更高成本，还会影响响应延迟和可容纳的上下文。
token 是模型处理文本或数据的单位，分词器则负责将原始文本、图像或音频拆分成 token。研究发现，即使只比较互联网上最常用的 20 种语言，最贵的语言也比最便宜的多用 1.5 到 5 倍 token；将范围扩大到 200 种语言后，差距进一步拉大，其中一个 AI 模型的 token 成本差距增长了 17 倍。
研究指出，语言的稀有程度并非决定 token 用量的唯一因素，文字系统也有很大影响。使用者相对较少、没有 Common Crawl 数据的阿斯图里亚斯语，仍能受益于拉丁字母，以及意大利语等相关罗曼语的数据。相比之下，采用分词器较少接触的文字系统的语言，在几乎所有受分析模型中都处于最不利的位置，包括使用缅甸文、藏文、提非纳文、高棉文、老挝文和 Ol Chiki 文字的语言。
研究以企业竞争为例指出，班加罗尔的初创公司可能为每次提示和输出支付额外费用，而奥斯汀的竞争对手无需承担这笔开销。研究还称，更高的 token 数量意味着更高延迟和更少的有效上下文容量，在算力和网络连接已经受限的地方，这些影响尤其突出。
Activate AI 联合创始人 Pratyush Choudhury 用辅导场景解释了对服务质量的影响：保留学生此前的错误和讲解，是提供良好教学的一部分；如果某种语言的对话历史更快占满上下文窗口，这种劣势就会影响教学质量。
Maya Research 首席执行官 Dheemanth Reddy 表示，token 价格正在快速下降，直接成本的影响应会随时间减轻，更好的多语言和合成数据也有助于提升模型质量。但他强调，仅改善训练数据无法修复分词器问题；真正缩小差距，仍需实验室有意设计能更好处理这些语言和文字的分词器。
Choudhury 则主张，将语言效率与准确性、速度和可靠性一起列为产品要求。他呼吁各大实验室公布按语言划分的成本记分卡，展示成功完成可比任务所需的费用，并承诺为表现最差的语言带来可衡量的改善。
