基于lucene的案例开发:分词器介绍

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/42916755

      在lucene创建索引的过程中,数据信息的处理是一个十分重要的过程,在这一过程中,主要的部分就是这一篇博客的主题:分词器。在下面简单的demo中,介绍了7中比较常见的分词技术,即:CJKAnalyzer、KeywordAnalyzer、SimpleAnalyzer、StopAnalyzer、WhitespaceAnalyzer、StandardAnalyzer、IKAnalyzer;自己可以通过注释的形式一一验证。源程序如下:

Analyzer分词demo

 /**  
 *@Description:    分词技术demo
 */ 
package com.lulei.lucene.study;  

import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cjk.CJKAnalyzer;
import org.apache.lucene.analysis.core.KeywordAnalyzer;
import org.apache.lucene.analysis.core.SimpleAnalyzer;
import org.apache.lucene.analysis.core.StopAnalyzer;
import org.apache.lucene.analysis.core.WhitespaceAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.util.Version;
import org.wltea.analyzer.lucene.IKAnalyzer;
  
public class AnalyzerStudy {

	public static void main(String[] args) throws Exception {
		//需要处理的测试字符串
		String str = "这是一个分词器测试程序,希望大家继续关注我的个人系列博客:基于Lucene的案例开发,这里加一点带空格的标签 LUCENE java 分词器";
		Analyzer analyzer = null;
		//标准分词器,如果用来处理中文,和ChineseAnalyzer有一样的效果,这也许就是之后的版本弃用ChineseAnalyzer的一个原因
		analyzer = new StandardAnalyzer(Version.LUCENE_43);
		//第三方中文分词器,有下面2中构造方法。
		analyzer = new IKAnalyzer();
		analyzer = new IKAnalyzer(false);
		analyzer = new IKAnalyzer(true);
		//空格分词器,对字符串不做如何处理
		analyzer = new WhitespaceAnalyzer(Version.LUCENE_43);
		//简单分词器,一段一段话进行分词
		analyzer = new SimpleAnalyzer(Version.LUCENE_43);
		//二分法分词器,这个分词方式是正向退一分词(二分法分词),同一个字会和它的左边和右边组合成一个次,每个人出现两次,除了首字和末字
		analyzer = new CJKAnalyzer(Version.LUCENE_43);
		//关键字分词器,把处理的字符串当作一个整体
		analyzer = new KeywordAnalyzer();
		//被忽略的词分词器
		analyzer = new StopAnalyzer(Version.LUCENE_43);
		
		//使用分词器处理测试字符串
		StringReader reader = new StringReader(str);
		TokenStream  tokenStream  = analyzer.tokenStream("", reader);
		tokenStream.reset();
		CharTermAttribute  term = tokenStream.getAttribute(CharTermAttribute.class);
		int l = 0;
		//输出分词器和处理结果
		System.out.println(analyzer.getClass());
		while(tokenStream.incrementToken()){  
			System.out.print(term.toString() + "|");
			l += term.toString().length();
			//如果一行输出的字数大于30,就换行输出
			if (l > 30) {
				System.out.println();
				l = 0;
			}
		} 
	}
}
注:上述程序对analyzer进行了9次赋值,自己可以通过一一注解的形式查看每一种分词技术的分词效果。


分词器介绍

       下面将会对这些分词器做一些简单的介绍,以及上述程序在该分词器下的运行截图:

StandardAnalyzer

       StandardAnalyzer标准分词器,如果用来处理中文,和ChineseAnalyzer有一样的效果,这也许就是之后的版本弃用ChineseAnalyzer的一个原因。用StandardAnalyzer处理英文效果还不错,但是对中文的处理只是将其分成单个汉字,并不存在任何语义或词性,如果实在没有其他的分词器,用StandardAnalyzer来处理中文还是可以的,上述事例使用StandardAnalyzer分词技术的运行结果如下图:

技术分享

IKAnalyzer

      IKAnalyzer是基于Lucene的第三方中文分词技术,该分词技术基于现有的中文词库实现的,在构造Analyzer对象时有两种构造方法,无参构造等同于new IKAnalyzer(false) ,在介绍true/false两种参数下分词器的不同之前先看看这两种情况下的事例运行结果:

false运行结果如下图:

技术分享

true运行结果如下图:

技术分享

       从上述事例中,我们可以简单的看出,false的情况下会对已分的词进行再分,如果存在长度较小的词元,也将其作为一个分词结果。IKAnalyzer是一种比较常用的中文分词技术,但是其分词效果过于依赖字典,所以要使其达到更好的效果,需要不断的升级自己的字典。

WhitespaceAnalyzer

      WhitespaceAnalyzer空格分词,这个分词技术就相当于按照空格简单的切分字符串,对形成的子串不做其他的操作,结果同string.split(" ")的结果类似。上述事例在WhitespaceAnalyzer分词技术下的运行结果如下图:

技术分享

      这种分词技术也许你会绝对没有太大的作用,它对输入的字符串几乎没有做太多的处理,对语句的处理结果也不是太好,如果这样想就错了,下面就简单的想一下这个问题,这篇博客的标签是 lucene、java、分词器,那这三个词在索引中又该如何的存储,采用何种分词技术呢?这里不做任何解答,自己思考下,在以后的小说案例中会对标签这个域提出具体的解决方案。

SimpleAnalyzer

      SimpleAnalyzer简单分词器,与其说是一段话进行分词,不如说是一句话就是一个词,遇到标点、空格等,就将其之前的内容当作一个词。上述事例在SimpleAnalyzer分词技术下的运行结果如下图:

技术分享

CJKAnalyzer

      CJKAnalyzer是二分法分词器,这个分词方式是正向退一分词(二分法分词),同一个字会和它的左边和右边组合成一个次,每个人出现两次,除了首字和末字,也就是说会将任何两个相邻的汉字当作是一个词,这种分词技术会产生大量的无用词组。上述事例在CJKAnalyzer分词技术下的运行结果如下图:

技术分享

KeywordAnalyzer

      KeywordAnalyzer关键字分词器,把处理的字符串当作一个整体,这个分词器,在lucene之前的版本中或许还有点作用,但最近的几个版本中,Lucene对域的类型做了细分,它的作用就不是太大了,不做在luke中,还是相当重要的。上述事例在KeywordAnalyzer分词技术下的运行结果如下图:

技术分享

StopAnalyzer

      StopAnalyzer被忽略的词分词器,被忽略的词就是在分词结果中,被丢弃的字符串,如标点、空格等。上述事例在StopAnalyzer分词技术下的运行结果如下图:

技术分享


     上述的7种分词技术都可以对中文做处理,对外文(非英语)的处理有以下几种分词技术:

BrazilianAnalyzer 巴西语言分词 
CzechAnalyzer 捷克语言分词
DutchAnalyzer 荷兰语言分词
FrenchAnalyzer 法国语言分词
GermanAnalyzer 德国语言分词
GreekAnalyzer 希腊语言分词
RussianAnalyzer 俄罗斯语言分词
ThaiAnalyzer 泰国语言分词


郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。