最新数据显示,截至3月15日,中国的AI大模型调用量达到4.69万亿Token,这使得中国连续第二周超越美国,且全球排名前三的位置也被中国模型占据。虽然中国AI大模型的发展令人兴奋,但许多民众对频繁出现在相关报道中的“Token”一词感到困惑,不知道它具体指的是什么。
23日,《环球时报》采访了奇安信的安全专家张勇,他解释说,Token在中文中翻译为“词元”,是AI处理文字时的最小单位。为了便于理解,张勇以吃饺子为例说明,“人们不会一口吃掉整盘饺子,而是逐个吃。同样地,AI处理长句时,会将其分解成多个小块,这些小块就是Token。”张勇进一步说明了三种Token的划分方式:一个词或一个字可以是一个Token,而复杂词或生僻字则可能被分解成多个Token。
张勇指出,在AI时代,Token的价值非常大,“因为大模型的收费方式是基于Token数量,而不是按字数或提问次数。”他举例说,“如果向大模型提问‘你好’,可能会消耗2个Token;如果模型的回答比较长,那么可能需要500个Token。这样,支付的费用就是基于使用的Token总数。”
张勇还提到,大模型一次处理的内容也有一定上限,比如128k Token。这个上限指的是提问和回答的总Token数,而非提问的字数。“如果对话内容过多,模型可能就会‘遗忘’前面的内容,因为Token窗口已经被填满。”
那么,如何在与大模型的互动中节省费用呢?张勇建议,尽量简化提问,避免使用诸如“你好”、“感谢”之类的礼貌用语,因为这些用语并不会影响大模型的理解,还会增加Token的消耗。此外,使用英文提问通常比中文更节省Token,因为英文单词的Token密度更高。
Token的调用量是衡量AI大模型活跃度的一个重要指标,无论是用户提问还是模型回答,都会被分解成Token进行计算。Token调用量越高,说明大模型的使用频率和普及度越高。
此外,Token的调用量还是衡量AI应用活跃度的关键指标,调用量越高,意味着模型的使用频率越高,AI的市场热度也就越高。这就像评价一款App的受欢迎程度时,会看它的总使用时长,Token调用量可以视为AI应用的总使用时长指标。
专家在接受《环球时报》采访时指出,中国AI的应用规模正在不断扩大,普及速度非常快,未来的发展潜力巨大。根据摩根大通的预测,中国的AI推理Token消耗量预计将在2025年达到约10千万亿,到2030年则可能增长至约3900千万亿,五年间增长了数百倍。
