Lucene之分词

浏览数：31 / 时间：2015年06月09日

分词：

①  单字切分

把一段文字按照每个字去建立索引。

如切分“我爱中华”，就会切成“我”，“爱”，“中”，“华”。这种分词法效率低，但也能解决一些问题。

 

②  二分法

二分法就是把一段文字的每两个相邻的字算作一个词。

如果用来切分“我爱中华”，就会切成“我爱”，“爱中”，“中华”。这种分词效率低，但比单字切分好得多。

 

③  词典法

词典法就是建立一个词典文件，然后使用词典和文字段落进行匹配，从而得出分词结果，在这种分词当中，词典和匹配算法是关键。

做词典和维护词典都不难，统计。匹配算法不好办，有最大匹配和最小匹配，正向匹配和逆向匹配。

 

④  语义法

这个方法在理论上是存在的，但从实际上讲也只是个名词，看到任何一段文字，让计算机将其正确理解出来，这个想法不可能。

 

 

 

 

 

 

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

标签： 算法 Lucene 使用 文件 问题 方法 sp 一个 bs 算法 Lucene 使用 文件 问题 方法 sp 一个 bs

相关文章

随机文章

您可能还喜欢

您可能还喜欢