📄 文档列表
🎬 口播文案
✏️ 编辑文档
标题
工具栏
加粗
H2 标题
H3 标题
引用
无序列表
有序列表
代码块
📷 上传图片
点击或拖拽上传图片
支持 PNG, JPG, GIF, WebP 格式
内容 (Markdown 格式)
## AIIA 启动「词元(Token)服务工作组」筹备:信通院牵头,华为云、百度智能云等 22 家单位入局 大模型用得越多,「Token」这个词出现的频率就越高——API 按 Token 计费、上下文窗口按 Token 算、模型能力按 Token 数标。但 Token 服务本身一直没有一个行业标准。 最近看到一个动向:**中国人工智能产业发展联盟(AIIA)正式启动了词元(Token)服务工作组的筹备工作**,由中国信通院牵头,联合华为云、百度智能云、中国移动、中国电信、中国联通等 22 家单位共同参与。 --- ## 什么是「词元(Token)服务工作组」 AIIA 是中国人工智能领域最具影响力的产业联盟之一,2017 年在国家发改委、工信部、网信办等部委指导下成立。 这次筹备的词元服务工作组,目标是**构建「高质量 Token 服务」生态体系**。具体来说: **上游——Token 生产和标准化**:包括 Token 的定义规范、编码标准、质量评估体系。当前不同厂商对 Token 的计数方式和服务质量参差不齐,缺乏统一的度量标准。 **中游——Token 调度和服务**:包括 Token 的分配策略、计费模型、服务等级协议(SLA)。大模型 API 的 Token 计费逻辑各有不同,用户很难横向比较成本和效率。 **下游——Token 应用和治理**:包括 Token 使用监控、成本优化、安全合规。企业大规模使用 AI 后,Token 的消耗跟踪和成本控制成为刚需。 --- ## 22 家单位覆盖了谁 牵头方是**中国信通院(CAICT)**——工信部直属科研事业单位,在云计算、大数据、AI 标准制定方面有长期积累。 参与单位覆盖了产业上下游: | 类别 | 参与方 | |------|--------| | 云服务商 | 华为云、百度智能云、阿里云 | | 电信运营商 | 中国移动、中国电信、中国联通 | | 芯片/算力 | 相关信息待工作组正式公布 | | 应用/终端 | 相关信息待工作组正式公布 | 22 家单位的具体名录,工作组正式成立时应该会发布。 --- ## 为什么需要「高质量 Token 服务」 几个现实问题: **Token 计价没有可比性**:同样一段中文,厂商 A 算 1000 Token,厂商 B 算 1200 Token。用户没法精确比较不同模型的真实成本。 **服务质量缺乏标准**:Token 生成速度、并发能力、错误率——这些指标没有统一衡量方式。用户在选模型时只能凭感觉。 **企业治理困难**:企业内部上百人用 AI 工具,Token 消耗分布在不同的项目和部门,没有统一的计量和分摊体系。 **应用层开发成本高**:每个接入大模型的应用都要自己处理 Token 的计数、限流、计费逻辑,缺少基础设施层的支撑。 信通院牵头这个工作组,方向是对的——Token 服务如果能有行业标准,对整个 AI 产业链的规范化会有实质推动。 --- ## 这会带来什么变化 如果 Token 服务工作组的工作顺利推进,未来可能有几个看得见的变化: 1. **Token 计价透明化**:不同模型之间有了可比的价格基准 2. **SLA 标准化**:Token 服务的可用性、延迟等指标有了明确等级 3. **成本可管理**:企业可以按统一口径做预算和核算 4. **应用接入简化**:底层 Token 管理能力成为平台级服务,应用开发者不需要重复造轮子 当然,工作组目前还处于筹备阶段。从筹备到正式成立、从标准制定到产业落地,还有不短的路要走。 --- ## 我的看法 Token 这个在大模型时代被频繁使用但又缺乏明确定义的概念,确实到了需要行业标准化的阶段。 有意思的是,**「词元」这个中文译名**——AIIA 选择用「词元」而非英文 Token——本身就在推动中文技术词汇的规范化。这和早期「软件」对应 Software、「硬盘」对应 Hard Disk 是一个路径。 参与方的覆盖也说明这件事不是某个厂商的单方推动。信通院牵头、云厂商和运营商都参与,意味着 Token 服务标准化的诉求是产业共识。 后续进展我会持续关注。 --- **互动问题**:你在用大模型 API 时,有没有因为 Token 计费不透明踩过坑?欢迎说说你的经历。 小创 / 创见 AI 实验室 > 预加载评论 > Token 计价确实头疼,同样的 prompt 不同模型价格差好几倍,根本不知道哪个划算 | 词元这个翻译还行,比直接用 Token 中文语境强 | 企业用量大的时候 Token 成本管理是刚需,有标准是好事 | 22 家单位有没有具体名单?想看看我们公司在不在里面
摘要
标签
多个标签用逗号分隔
分类
技术文章
教程指南
工具测评
项目实战
行业观察
默认
💾 保存修改
← 返回查看
返回列表