分词工具小结

最新推荐文章于 2025-03-05 14:43:38 发布

原创最新推荐文章于 2025-03-05 14:43:38 发布 · 239 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nlp

笔记专栏收录该内容

19 篇文章

订阅专栏

本文汇总了多种中文分词工具，包括中科院计算所的NLPIR、ansj分词器、哈工大的LTP、清华大学的THULAC、Stanford分词器、HanLP、结巴分词、KCWS、ZPar、IKAnalyzer等，涵盖了基于CRF、最短路径、前缀词典、字嵌入、Bi-LSTM+CRF等多种算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

中科院计算所NLPIR http://ictclas.nlpir.org/nlpir/
ansj分词器 https://github.com/NLPchina/ansj_seg
哈工大的LTP https://github.com/HIT-SCIR/ltp
清华大学THULAC https://github.com/thunlp/THULAC
斯坦福分词器，Java实现的CRF算法。 https://nlp.stanford.edu/software/segmenter.shtml
Hanlp分词器，求解的是最短路径。 https://github.com/hankcs/HanLP
结巴分词，基于前缀词典，生成句子中所有可能成词所构成的有向无环图 (DAG)，采用动态规划查找最大概率路径, 找出基于词频的最大切分组合，对于未登录词，采用了 HMM 模型，使用 Viterbi 算法。 https://github.com/yanyiwu/cppjieba
KCWS分词器(字嵌入+Bi-LSTM+CRF)，本质上是序列标注。 https://github.com/koth/kcws
ZPar https://github.com/frcchang/zpar/releases
IKAnalyzer https://github.com/wks/ik-analyzer

作者：不会停的蜗牛
链接：https://www.jianshu.com/p/6c085bf1086f
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。