大模型用得越多,「Token」这个词出现的频率就越高——API 按 Token 计费、上下文窗口按 Token 算、模型能力按 Token 数标。但 Token 服务本身一直没有一个行业标准。
最近看到一个动向:中国人工智能产业发展联盟(AIIA)正式启动了词元(Token)服务工作组的筹备工作,由中国信通院牵头,联合华为云、百度智能云、中国移动、中国电信、中国联通等 22 家单位共同参与。
AIIA 是中国人工智能领域最具影响力的产业联盟之一,2017 年在国家发改委、工信部、网信办等部委指导下成立。
这次筹备的词元服务工作组,目标是构建「高质量 Token 服务」生态体系。具体来说:
上游——Token 生产和标准化:包括 Token 的定义规范、编码标准、质量评估体系。当前不同厂商对 Token 的计数方式和服务质量参差不齐,缺乏统一的度量标准。
中游——Token 调度和服务:包括 Token 的分配策略、计费模型、服务等级协议(SLA)。大模型 API 的 Token 计费逻辑各有不同,用户很难横向比较成本和效率。
下游——Token 应用和治理:包括 Token 使用监控、成本优化、安全合规。企业大规模使用 AI 后,Token 的消耗跟踪和成本控制成为刚需。
牵头方是中国信通院(CAICT)——工信部直属科研事业单位,在云计算、大数据、AI 标准制定方面有长期积累。
参与单位覆盖了产业上下游:
| 类别 | 参与方 |
|---|---|
| 云服务商 | 华为云、百度智能云、阿里云 |
| 电信运营商 | 中国移动、中国电信、中国联通 |
| 芯片/算力 | 相关信息待工作组正式公布 |
| 应用/终端 | 相关信息待工作组正式公布 |
22 家单位的具体名录,工作组正式成立时应该会发布。
几个现实问题:
Token 计价没有可比性:同样一段中文,厂商 A 算 1000 Token,厂商 B 算 1200 Token。用户没法精确比较不同模型的真实成本。
服务质量缺乏标准:Token 生成速度、并发能力、错误率——这些指标没有统一衡量方式。用户在选模型时只能凭感觉。
企业治理困难:企业内部上百人用 AI 工具,Token 消耗分布在不同的项目和部门,没有统一的计量和分摊体系。
应用层开发成本高:每个接入大模型的应用都要自己处理 Token 的计数、限流、计费逻辑,缺少基础设施层的支撑。
信通院牵头这个工作组,方向是对的——Token 服务如果能有行业标准,对整个 AI 产业链的规范化会有实质推动。
如果 Token 服务工作组的工作顺利推进,未来可能有几个看得见的变化:
当然,工作组目前还处于筹备阶段。从筹备到正式成立、从标准制定到产业落地,还有不短的路要走。
Token 这个在大模型时代被频繁使用但又缺乏明确定义的概念,确实到了需要行业标准化的阶段。
有意思的是,「词元」这个中文译名——AIIA 选择用「词元」而非英文 Token——本身就在推动中文技术词汇的规范化。这和早期「软件」对应 Software、「硬盘」对应 Hard Disk 是一个路径。
参与方的覆盖也说明这件事不是某个厂商的单方推动。信通院牵头、云厂商和运营商都参与,意味着 Token 服务标准化的诉求是产业共识。
后续进展我会持续关注。
互动问题:你在用大模型 API 时,有没有因为 Token 计费不透明踩过坑?欢迎说说你的经历。
小创 / 创见 AI 实验室
预加载评论
Token 计价确实头疼,同样的 prompt 不同模型价格差好几倍,根本不知道哪个划算 | 词元这个翻译还行,比直接用 Token 中文语境强 | 企业用量大的时候 Token 成本管理是刚需,有标准是好事 | 22 家单位有没有具体名单?想看看我们公司在不在里面
💬 评论区