Token（词元）

一句话理解

Token 是 AI 读写文字的“计步器”——它不按字数也不按词数处理文字，而是切成小块一块块地读，一块就是一个 token，收费和长度限制都按它算。

定义

Token（词元）是大模型处理文本的最小单位，大约相当于一个汉字、半个英文单词或一个标点符号。模型读入的是 token，输出的也是 token。中文里 1 个汉字通常折合 1 到 2 个 token，具体换算比例各家模型不一样。

你会在哪遇到它

看 API 计费说明时，价格按“每百万 token”标注；长对话聊到一半，AI 提示“内容过长”或开始忘记最前面说过的话——那是 token 超了；同一段长文贴给不同的模型，有的能读有的直接报错，是因为各家的 token 上限不一样。

背后的原理

每个模型都自带一本“词元表”。文字先被分词器（Tokenizer）切成词表里的 token，再换成编号喂给模型；模型预测下一个 token 的编号，一个接一个吐出来，最后拼成你看到的回答。所以 AI 的生成过程，本质是一场高速的“文字接龙”，接龙的每一步都以 token 为单位。

和相近概念的区别

1 字数不等于 token 数：英文里一个长单词可能要占 2 到 3 个 token，中文一个字通常 1 个上下，所以“1 万字限制”和“1 万 token 限制”差别很大。 2 字符数是给人看的，token 数是给模型和账单看的，估算用量时要以 token 为准。 3 上下文窗口的容量也是按 token 计的，两者经常一起出现。

常见误区

1 以为按字数收费——实际按 token 计价，中英文消耗差很多。 2 以为 AI 能无限读——上下文窗口有限，超了它就“忘”了开头。 3 靠心算估 token——各家切法不同，不要自己估，用官方的计数工具最准。