基于lucene的案例开发：分词器介绍

转载请注明出处：http://blog.csdn.net/xiaojimanman/article/details/42916755

      在lucene创建索引的过程中，数据信息的处理是一个十分重要的过程，在这一过程中，主要的部分就是这一篇博客的主题：分词器。在下面简单的demo中，介绍了7中比较常见的分词技术，即：CJKAnalyzer、KeywordAnalyzer、SimpleAnalyzer、StopAnalyzer、WhitespaceAnalyzer、StandardAnalyzer、IKAnalyzer；自己可以通过注释的形式一一验证。源程序如下：

Analyzer分词demo

 /**  
 *@Description:    分词技术demo
 */ 
package com.lulei.lucene.study;  

import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cjk.CJKAnalyzer;
import org.apache.lucene.analysis.core.KeywordAnalyzer;
import org.apache.lucene.analysis.core.SimpleAnalyzer;
import org.apache.lucene.analysis.core.StopAnalyzer;
import org.apache.lucene.analysis.core.WhitespaceAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.util.Version;
import org.wltea.analyzer.lucene.IKAnalyzer;
  
public class AnalyzerStudy {

	public static void main(String[] args) throws Exception {
		//需要处理的测试字符串
		String str = "这是一个分词器测试程序，希望大家继续关注我的个人系列博客：基于Lucene的案例开发，这里加一点带空格的标签 LUCENE java 分词器";
		Analyzer analyzer = null;
		//标准分词器，如果用来处理中文，和ChineseAnalyzer有一样的效果，这也许就是之后的版本弃用ChineseAnalyzer的一个原因
		analyzer = new StandardAnalyzer(Version.LUCENE_43);
		//第三方中文分词器，有下面2中构造方法。
		analyzer = new IKAnalyzer();
		analyzer = new IKAnalyzer(false);
		analyzer = new IKAnalyzer(true);
		//空格分词器，对字符串不做如何处理
		analyzer = new WhitespaceAnalyzer(Version.LUCENE_43);
		//简单分词器，一段一段话进行分词
		analyzer = new SimpleAnalyzer(Version.LUCENE_43);
		//二分法分词器，这个分词方式是正向退一分词(二分法分词)，同一个字会和它的左边和右边组合成一个次，每个人出现两次，除了首字和末字
		analyzer = new CJKAnalyzer(Version.LUCENE_43);
		//关键字分词器，把处理的字符串当作一个整体
		analyzer = new KeywordAnalyzer();
		//被忽略的词分词器
		analyzer = new StopAnalyzer(Version.LUCENE_43);
		
		//使用分词器处理测试字符串
		StringReader reader = new StringReader(str);
		TokenStream  tokenStream  = analyzer.tokenStream("", reader);
		tokenStream.reset();
		CharTermAttribute  term = tokenStream.getAttribute(CharTermAttribute.class);
		int l = 0;
		//输出分词器和处理结果
		System.out.println(analyzer.getClass());
		while(tokenStream.incrementToken()){  
			System.out.print(term.toString() + "|");
			l += term.toString().length();
			//如果一行输出的字数大于30，就换行输出
			if (l > 30) {
				System.out.println();
				l = 0;
			}
		} 
	}
}

分词器介绍

       下面将会对这些分词器做一些简单的介绍，以及上述程序在该分词器下的运行截图：

StandardAnalyzer

       StandardAnalyzer标准分词器，如果用来处理中文，和ChineseAnalyzer有一样的效果，这也许就是之后的版本弃用ChineseAnalyzer的一个原因。用StandardAnalyzer处理英文效果还不错，但是对中文的处理只是将其分成单个汉字，并不存在任何语义或词性，如果实在没有其他的分词器，用StandardAnalyzer来处理中文还是可以的，上述事例使用StandardAnalyzer分词技术的运行结果如下图：

IKAnalyzer

      IKAnalyzer是基于Lucene的第三方中文分词技术，该分词技术基于现有的中文词库实现的，在构造Analyzer对象时有两种构造方法，无参构造等同于new IKAnalyzer(false) ，在介绍true/false两种参数下分词器的不同之前先看看这两种情况下的事例运行结果：

false运行结果如下图：

true运行结果如下图：

       从上述事例中，我们可以简单的看出，false的情况下会对已分的词进行再分，如果存在长度较小的词元，也将其作为一个分词结果。IKAnalyzer是一种比较常用的中文分词技术，但是其分词效果过于依赖字典，所以要使其达到更好的效果，需要不断的升级自己的字典。

WhitespaceAnalyzer

      WhitespaceAnalyzer空格分词，这个分词技术就相当于按照空格简单的切分字符串，对形成的子串不做其他的操作，结果同string.split(" ")的结果类似。上述事例在WhitespaceAnalyzer分词技术下的运行结果如下图：

      这种分词技术也许你会绝对没有太大的作用，它对输入的字符串几乎没有做太多的处理，对语句的处理结果也不是太好，如果这样想就错了，下面就简单的想一下这个问题，这篇博客的标签是 lucene、java、分词器，那这三个词在索引中又该如何的存储，采用何种分词技术呢？这里不做任何解答，自己思考下，在以后的小说案例中会对标签这个域提出具体的解决方案。

SimpleAnalyzer

      SimpleAnalyzer简单分词器，与其说是一段话进行分词，不如说是一句话就是一个词，遇到标点、空格等，就将其之前的内容当作一个词。上述事例在SimpleAnalyzer分词技术下的运行结果如下图：

CJKAnalyzer

      CJKAnalyzer是二分法分词器，这个分词方式是正向退一分词(二分法分词)，同一个字会和它的左边和右边组合成一个次，每个人出现两次，除了首字和末字，也就是说会将任何两个相邻的汉字当作是一个词，这种分词技术会产生大量的无用词组。上述事例在CJKAnalyzer分词技术下的运行结果如下图：

KeywordAnalyzer

      KeywordAnalyzer关键字分词器，把处理的字符串当作一个整体，这个分词器，在lucene之前的版本中或许还有点作用，但最近的几个版本中，Lucene对域的类型做了细分，它的作用就不是太大了，不做在luke中，还是相当重要的。上述事例在KeywordAnalyzer分词技术下的运行结果如下图：

StopAnalyzer

      StopAnalyzer被忽略的词分词器，被忽略的词就是在分词结果中，被丢弃的字符串，如标点、空格等。上述事例在StopAnalyzer分词技术下的运行结果如下图：

     上述的7种分词技术都可以对中文做处理，对外文（非英语）的处理有以下几种分词技术：

BrazilianAnalyzer 巴西语言分词 
CzechAnalyzer 捷克语言分词
DutchAnalyzer 荷兰语言分词
FrenchAnalyzer 法国语言分词
GermanAnalyzer 德国语言分词
GreekAnalyzer 希腊语言分词
RussianAnalyzer 俄罗斯语言分词
ThaiAnalyzer 泰国语言分词