DFA算法过滤敏感词整理

浏览数：197 / 时间：2015年06月08日

这里有部分是从网上找的，但看起来太乱了，分的太散了。研究了几天，整理出来，有问题的话还请大虾们提出来....


DFA算法过滤敏感词整理


package org.rui.util;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Map;
import java.util.Set;

/**
 * 检查是否有敏感词，并返回敏感词和数量
 *  YN =是否是最后一个 Y=是 N=不是
 * 
 * @author lenovo
 *
 */
public class FilterWord
{

	public static final Integer MATCH_TYPE_X = 2;// 最小匹配规则
	public static final Integer MATCH_TYPE_M = 1;// 最大匹配规则

	public static Set<String> readWorld()
	{
		InputStreamReader read = null;

		Set<String> set = null;
		try {

			File file = new File("D:\\SensitiveWord.txt"); // 读取文件
			read = new InputStreamReader(new FileInputStream(file), "UTF-8");

			if (file.isFile() && file.exists()) { // 文件流是否存在
				set = new HashSet<String>();
				BufferedReader bufferedReader = new BufferedReader(read);
				String txt = null;
				while ((txt = bufferedReader.readLine()) != null) { // 读取文件，将文件内容放入到set中
					set.add(txt);
				}
			} else {
				// throw new Exception("敏感词库文件不存在");
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			if (read != null) {
				try {
					read.close();
				} catch (IOException e) {
					e.printStackTrace();
				} // 关闭文件流
			}

		}
		return set;
	}

	public static Map getMap()
	{
		Map WordMap = new HashMap();

		String key = null;
		Map nowMap = null;
		Map<String, String> newWorMap = null;
		// 迭代keyWordSet
		Iterator<String> iterator = readWorld().iterator();
		while (iterator.hasNext()) {
			key = iterator.next(); // 关键字
			nowMap = WordMap;
			for (int i = 0; i < key.length(); i++) {
				char keyChar = key.charAt(i); // 转换成char型
				Object wordMap = nowMap.get(keyChar); // 获取

				if (wordMap != null) { // 如果存在该key，直接赋值
					nowMap = (Map) wordMap;
				} else { // 不存在则，则构建一个map，同时将isEnd设置为0，因为他不是最后一个
					newWorMap = new HashMap<String, String>();
					newWorMap.put("YN", "N"); // 不是最后一个
					nowMap.put(keyChar, newWorMap);
					nowMap = newWorMap;
				}

				if (i == key.length() - 1) {
					nowMap.put("YN", "Y"); // 最后一个
				}
			}
		}

		return WordMap;
	}

	public static void main(String[] args)
	{
		// 添加敏感 词，这里也可以从数据库中读取
		Map sensitiveWordMap = getMap();

		Set<String> sensitiveWordList = new HashSet<String>();
		String txt = "问世间，情是何物，直教生死相许。天南地北双飞客，老翅几回寒暑。欢乐趣，别离苦，是中更有痴儿女。"
				+ "胡锦涛和习近平君应有语。渺万里层云，千山暮雪，只影为谁去？横汾路，寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及，"
				+ "胡锦涛习近平山鬼自啼风雨。天也妒。未信与，莺儿燕子俱黄土。千秋万古。为留待骚人，狂歌痛饮，来访雁丘处。";

		for (int i = 0; i < txt.length(); i++) {
			int length = 0;// 匹配标识数默认为0
			boolean flag = false; // 敏感词结束标识位：用于敏感词只有1位的情况
			char word = 0;
			Map nowMap = sensitiveWordMap;
			for (int j = i; j < txt.length(); j++) {
				word = txt.charAt(j);
				nowMap = (Map) nowMap.get(word); // 获取指定key
				if (nowMap != null) { // 存在，则判断是否为最后一个
					length++; // 找到相应key，匹配标识+1
					if ("Y".equals(nowMap.get("YN"))) { // 如果为最后一个匹配规则,结束循环，返回匹配标识数
						flag = true; // 结束标志位为true
						if (FilterWord.MATCH_TYPE_M == 1) { // 最小规则，直接返回,最大规则还需继续查找
							break;
						}
					}
				} else { // 不存在，直接返回
					break;
				}
			}
			if (length < 2 || !flag) { // 长度必须大于等于1，为词
				length = 0;
			}

			if (length > 0) { // 存在,加入list中
				sensitiveWordList.add(txt.substring(i, i + length));
				i = i + length - 1; // 减1的原因，是因为for会自增
			}
		}

		System.out.println("语句中包含敏感词的个数为：" + sensitiveWordList.size() + "。包含："
				+ sensitiveWordList);

	}

}

/***
 * 语句中包含敏感词的个数为：2。包含：[习近平, 胡锦涛]
 */


package org.rui.util;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Map;
import java.util.Set;

/**
 * @desc DFA 过滤敏感词 用*号替换
 * @date 2015/04/04
 * @author liangrui
 *
 */
public class ReplaceKeyWord
{

	public static final Integer MATCH_TYPE_X = 2;// 最小匹配规则
	public static final Integer MATCH_TYPE_M = 1;// 最大匹配规则

	/**
	 * 读取敏感词
	 * 
	 * @return
	 */
	public static Set<String> readWorld()
	{
		InputStreamReader read = null;

		Set<String> set = null;
		try {

			File file = new File("D:\\SensitiveWord.txt"); // 读取文件
			read = new InputStreamReader(new FileInputStream(file), "UTF-8");

			if (file.isFile() && file.exists()) { // 文件流是否存在
				set = new HashSet<String>();
				BufferedReader bufferedReader = new BufferedReader(read);
				String txt = null;
				while ((txt = bufferedReader.readLine()) != null) { // 读取文件，将文件内容放入到set中
					set.add(txt);
				}
			} else {
				// throw new Exception("敏感词库文件不存在");
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			if (read != null) {
				try {
					read.close();
				} catch (IOException e) {
					e.printStackTrace();
				} // 关闭文件流
			}

		}
		return set;
	}

	/**
	 * DFA算法 模型
	 * 
	 * @return
	 */
	public static Map getMap()
	{
		Map WordMap = new HashMap();

		String key = null;
		Map nowMap = null;
		Map<String, String> newWorMap = null;
		// 迭代keyWordSet
		Iterator<String> iterator = readWorld().iterator();
		while (iterator.hasNext()) {
			key = iterator.next(); // 关键字
			nowMap = WordMap;
			for (int i = 0; i < key.length(); i++) {
				char keyChar = key.charAt(i); // 转换成char型
				Object wordMap = nowMap.get(keyChar); // 获取

				if (wordMap != null) { // 如果存在该key，直接赋值
					nowMap = (Map) wordMap;
				} else { // 不存在则，则构建一个map，同时将isEnd设置为0，因为他不是最后一个
					newWorMap = new HashMap<String, String>();
					newWorMap.put("YN", "N"); // 不是最后一个
					nowMap.put(keyChar, newWorMap);
					nowMap = newWorMap;
				}

				if (i == key.length() - 1) {
					nowMap.put("YN", "Y"); // 最后一个
				}
			}
		}

		return WordMap;
	}

	/**
	 * 替换
	 * 
	 * @param txt
	 * @param map
	 * @return
	 */
	public static String replace(String txt, Map map)
	{
		StringBuffer sb = new StringBuffer(txt);
		for (int i = 0; i < txt.length(); i++) {
			int length = 0;// 匹配标识数默认为0
			boolean flag = false; // 敏感词结束标识位：用于敏感词只有1位的情况
			char word = 0;
			Map nowMap = map;
			for (int j = i; j < txt.length(); j++) {
				word = txt.charAt(j);
				nowMap = (Map) nowMap.get(word); // 获取指定key
				if (nowMap != null) { // 存在，则判断是否为最后一个
					length++; // 找到相应key，匹配标识+1
					if ("Y".equals(nowMap.get("YN"))) { // 如果为最后一个匹配规则,结束循环，返回匹配标识数
						flag = true; // 结束标志位为true
						if (ReplaceKeyWord.MATCH_TYPE_M == 1) { // 最小规则，直接返回,最大规则还需继续查找
							break;
						}
					}
				} else { // 不存在，直接返回
					break;
				}
			}
			if (length < 2 || !flag) { // 长度必须大于等于1，为词
				length = 0;
			}

			if (length > 0) { // 存在
				char[] c = new char[length];
				for (int x = 0; x < length; x++) {
					c[x] = '*';
				}

				sb.replace(i, i + length, new String(c));
				i = i + length - 1; // 减1的原因，是因为for会自增
			}
		}

		return sb.toString();
	}

	public static void main(String[] args)
	{
		// 添加敏感 词，这里也可以从数据库中读取
		Map map = getMap();

		String txt = "问世间，情是何物，直教生死相许。天南地北双飞客，老翅几回寒暑。欢乐趣，别离苦，是中更有痴儿女。"
				+ "胡锦涛和习近平君应有语。渺万里层云，千山暮雪，只影为谁去？横汾路，寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及，"
				+ "胡锦涛习近平山鬼自啼风雨。天也妒。未信与，莺儿燕子俱黄土。千秋万古。为留待骚人，狂歌痛饮，来访雁丘处。";

		long beginTime = System.currentTimeMillis();
		String result = replace(txt, map);
		long endTime = System.currentTimeMillis();
		System.out.println("总共消耗时间为：" + (endTime - beginTime));
		System.out.println("result:" + result);

		// Set set = readWorld();

	}

}
/***
 * result:问世间，情是何物，直教生死相许。天南地北双飞客，老翅几回寒暑。欢乐趣，别离苦，是中更有痴儿女。***和***君应有语。
 * 渺万里层云，千山暮雪，只影为谁去？横汾路，寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及，******山鬼自啼风雨。
 * 天也妒。未信与，莺儿燕子俱黄土。千秋万古。为留待骚人，狂歌痛饮，来访雁丘处。
 * /
 */



郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

标签： 编程语言 Java C C# Javascript js Python Ruby Spring 程序 VB

相关文章

随机文章

您可能还喜欢

您可能还喜欢