NLP领域中的token和tokenization到底指的是什么？
的有关信息介绍如下：
token(符号):包括单词和标点
tokenization(分词)：我是中国人->['我', '是', '中国人']
NLP领域中的token和tokenization到底指的是什么？
Simone
发布于 2026-11-06 16:55:47
909 阅读
Simone
发布于 2026-11-06 16:55:47
909 阅读
