网站介绍：首先介绍三大类分词算法：词级、字符级、子词级算法；然后介绍五种常用的子词级（subword ）算法：BPE、BBPE、WordPiece、Unigram、SentencePiece。_bpe bbpe
- 链接地址：https://muyao.blog.csdn.net/article/details/126288609
- 链接标题：huggingface Tokenizers 官网文档学习：分词算法分类与五个子词级分词算法_bpe bbpe-CSDN博客
- 所属网站：muyao.blog.csdn.net
- 被收藏次数：3961
- 网站标签：bpe bbpe
