lucecnnet记录

浏览数：97 / 时间：2015年06月09日

概念性的：只能处理字符串，属于全文搜索引擎（站内），数据库把词条给lucence 然后查找的时候在lucence中查找

其它的搜索技术如 like %% 模糊查询

模糊程度太低，无法匹配几个关键词不挨着的；造成全表扫描，效率低

数据库全文索引

需要在数据库中开启，效率可以但是模糊率不行数据库全文检索很傻瓜化，和普通SQL一样。数据全文检索灵活性不强。

select * from t_articls where Contains(msg,"北京海淀区")

分为一元分词算法：英文使用单词按照空格分割

二元分词算法：每两个此算作一个词分割，不属于lucence的范围，是别人写的需要引用两个类 CJKAnalyzer.cs 和 CJKTokenizer.cs 下面是一元分词和二元分词的测试demo

一元分词demo

Analyzer analyzer = new StandardAnalyzer();

TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));

Lucene.Net.Analysis.Token token = null;

while ((token = tokenStream.Next()) != null)

{

Console.WriteLine(token.TermText());

}

二元分词demo

Analyzer analyzer = new CJKAnalyzer();

TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));

Lucene.Net.Analysis.Token token = null;

while ((token = tokenStream.Next()) != null)

{

Console.WriteLine(token.TermText());

}

盘古分词

首先添加盘古分词引用然后写下面的demo

Analyzer analyzer = new PanGuAnalyzer();

TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));

Lucene.Net.Analysis.Token token = null;

while ((token = tokenStream.Next()) != null)

{

Console.WriteLine(token.TermText());

}

这时候系统会报错错误信息如下

未能找到路径“C:\Users\lzj\Desktop\继续mvc杂乱LucecnNetDemo\bin\Debug\Dict\Dict.Dct”的一部分。

说明在bin/debug目录下面没有dict数据字典文件那么现在就添加一个盘古分词自带的数据字典盘古分词需要一个词库，这个词库是实现弄好的

不能放到debug目录下面因为在清理的时候debug目录下面的文件丢失采用另一种办法放到网站的跟目录下面然后选中文件右键单击属性更改复制到输出目录这样就能够在数据字典改变的情况下面更改bin/debug下面的文件内容

精确度很高

然后利用测试数据软件打开dict文件更改数据字典内的词语继续测试 DictManage.exe

盘古分词就是一个数据字典里面存了很多分词词条，当程序向lucecn中添加数据的时候，根据盘古分词词库把用户输入数据按照词库语句进行分割

暂时性理解：用户给lucecn数据，lucecn按照盘古分词算法对数据（字符串）进行分词保存在lucecn中作为索引，当下次用户查询的时候输入关键字就是盘古分词分割好了存储在lucecn中的数据，lucecn根据关键字索引找到对应的数据

下面实现

添加索引库

string indexPath = @"C:\lucenedir";//注意和磁盘上文件夹的大小写一致，否则会报错。将创建的分词内容放在该目录下。

FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem

bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用：判断索引库文件夹是否存在以及索引特征文件是否存在。

if (isUpdate)

{

//同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。

//如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁（提示一下：如果我现在正在写着已经加锁了，但是还没有写完，这时候又来一个请求，那么不就解锁了吗？这个问题后面会解决）

if (IndexWriter.IsLocked(directory))

{

IndexWriter.Unlock(directory);

}

IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。

for (int i = 1; i <= 10; i++)

{

string txt = File.ReadAllText(@"C:\testluce\" + i + ".txt", System.Text.Encoding.Default);//注意这个地方的编码

Document document = new Document();//表示一篇文档。

//Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存

document.Add(new Field("number", i.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));

//Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词保存（因为要进行模糊查询）

//Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。

document.Add(new Field("body", txt, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));

writer.AddDocument(document);

}

writer.Close();//会自动解锁。

directory.Close();//不要忘了Close，否则索引结果搜不到

MessageBox.Show("ok");

查询索引库

string indexPath = @"C:\lucenedir";

string kw = "面向对象";//因为索引库红不存在所以根据盘古分词再次进行分词

FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());

IndexReader reader = IndexReader.Open(directory, true);

IndexSearcher searcher = new IndexSearcher(reader);

//搜索条件

PhraseQuery query = new PhraseQuery();

foreach (string word in WebCommon.GetPanGuKW(kw))//先用空格，让用户去分词，空格分隔的就是词“计算机专业”

{

query.Add(new Term("body", word));

}

//query.Add(new Term("body","语言"));--可以添加查询条件，两者是add关系.顺序没有关系.

//query.Add(new Term("body", "大学生"));

//query.Add(new Term("body", kw));//body中含有kw的文章

query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远也就无意义.（例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。）

//TopScoreDocCollector是盛放查询结果的容器

TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);

searcher.Search(query, null, collector);//根据query查询条件进行查询，查询结果放入collector容器

ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数 TopDocs(300, 20);//表示得到300（从300开始），到320（结束）的文档内容.

//可以用来实现分页功能

this.listBox1.Items.Clear();

for (int i = 0; i < docs.Length; i++)

{

//搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力，需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document.

int docId = docs[i].doc;//得到查询结果文档的id（Lucene内部分配的id）

Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息

this.listBox1.Items.Add(doc.Get("number") + "\n");// 取出放进字段的值

this.listBox1.Items.Add(doc.Get("body") + "\n");

this.listBox1.Items.Add("-----------------------\n");

}

WebCommon.GetPanGuKW(kw)