我要投稿

一文搞懂大模型的分词器（Tokenizer）

发布日期：2025-05-22 03:13:45 浏览次数： 3134

作者：架构师带你玩转AI

微信搜一搜，关注“架构师带你玩转AI”

今天来聊一聊BERT和GPT的分词器，了解大模型的第一步：Tokenizer。

Tokenizer（分词器）是大语言模型（如BERT和GPT）预处理文本的核心组件，其作用是将原始文本拆解为子词、单词或字符，同时保留语义和结构信息。

BERT vs GPT

一、BERT（WordPiece）

BERT的Tokenizer：基于WordPiece的子词分词

一、分词工作原理：

BERT使用WordPiece算法生成子词（subword）单元，通过贪心算法迭代合并语料中高频出现的字符对，平衡词汇表大小与OOV（未登录词）问题。

BERT将特殊标记预置在输入序列中，通过结构化标记引导模型理解任务目标与上下文边界。

[CLS]：表示序列的起始位置，常用于分类任务。

[SEP]：分隔不同句子或段落。

例如，Input 'my dog is cute. he likes playing' 分词为：

'[CLS]'、'my'、'dog'、'is'、'cute'、'[SEP]'、'he'、'likes'、'play'、'##ing'（“##”表示子词延续）和'[SEP]'。

二、专业术语：

忽略：WordPiece算法、贪心算法、OOV问题。

关注：Token（词元）、Tokenizer（分词）、Subword（子词）、Tag（标记）

三、存在问题：

（1）中文适配性差
BERT 原始 Tokenizer 依赖空格分词（如英文），对中文等无显式空格的语言需额外分词预处理。
（2）难以适应动态任务
[CLS]、[SEP] 等特殊标记的语义和位置固定，难以适应动态任务需求（如可变长度的分类任务、多轮对话）。

二、GPT（BPE）

GPT的Tokenizer：基于BPE的子词分词

GPT（尤其是GPT-2/3）使用BPE算法，通过合并高频字节对生成子词，与WordPiece不同，BPE更注重频率统计。同时GPT-2采用字节级BPE，支持多语言输入（如中文、代码）而无需额外预处理。

二、专业术语：

忽略：BPE算法、频率统计、字节级BPE。

关注：Token（词元）、Tokenizer（分词）、Subword（子词）

Byte Pair Encoding: building the GPT tokenizer with Karpathy -

三、BPE和WordPiece两者差异：

（1）符号标记

BPE：无特殊标记，直接合并高频子词（如happy）。
WordPiece：依赖##标记后缀（如##ness），拆分规则更严格。
（2）跨语言能力（中英文）
BPE：通过字节级编码统一处理多语言（如pneu+monia）。
WordPiece：需预分词（如中文按字拆分），跨语言泛化性弱。
（3）适用场景
BPE：生成任务（GPT）、多语言混合、非规范文本WordPiece。
WordPiece：理解任务（BERT）、短文本分类、精准语义解析。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-29

软件架构演化简史：从单体到AI原生

2026-05-29

李开复王小川转身，大模型创业上半场结束

2026-05-29

如何把 Codex 用到极致

2026-05-29

全球Harness驾驭工程发展态势、模式演进与落地挑战分析

2026-05-29

刚刚，Claude Opus 4.8 正式发布！

2026-05-28

谷歌放弃 Gemini CLI，转头用 Go 写了个新玩具 Antigravity CLI

2026-05-28

Claude code云端部署 & 魔改sdk实现http流式调用保姆级教程

2026-05-28

“不用AI的CEO，我会亲自干掉他！”亿万富翁马克·库班最新对话：看好Claude，但奥特曼迟早被自己反噬

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

OpenAI Codex CLI 完整使用指南

2026-04-07

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

2026年国内如何注册 Claude 账号教程

2026-03-13

Claude Code 和 Codex 接入 Figma MCP 保姆级教程

2026-04-07

独家| DeepSeek-V4终于要来了：梁文锋憋半年大招，多模态+长期记忆全面破局

2026-03-17

香港终于能直接用 Gemini 了，内地用户能用上吗？

2026-03-17

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

GPT5.5来了，最大特点解析

2026-04-24

刚刚，GPT-5.4 发布，百万上下文、最强全能模型

2026-03-06

大家都在问

如何使用Codex的Goals机制完成长程任务？

2026-05-26

Codex 的 computer use 功能，为什么这么好用？

2026-05-23

前有用友YonClaw，今有金蝶灵基，中国软件双雄的AI底牌谁能笑到最后？

2026-05-21

Harness Engineering：AI 能在真正"出事会炸"的后端系统里写代码吗？

2026-05-19

谁来给企业端即将大规模入职的Agent盖办公室？

2026-05-09

鹅厂员工觉得好的code模型应该具备什么能力？

2026-05-09

Markdown要被抛弃了？Claude Code工程师自曝：我已彻底放弃使用Markdown！团队倾向使用HTML！网友：其他编辑工具会被淘汰吗？

2026-05-09

AI吞噬软件的叙事要分化了？

2026-05-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部