DFA算法过滤敏感词整理
这里有部分是从网上找的,但看起来太乱了,分的太散了。研究了几天,整理出来,有问题的话还请大虾们提出来....
DFA算法过滤敏感词整理
package org.rui.util; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.HashMap; import java.util.HashSet; import java.util.Iterator; import java.util.Map; import java.util.Set; /** * 检查是否有敏感词,并返回敏感词和数量 * YN =是否是最后一个 Y=是 N=不是 * * @author lenovo * */ public class FilterWord { public static final Integer MATCH_TYPE_X = 2;// 最小匹配规则 public static final Integer MATCH_TYPE_M = 1;// 最大匹配规则 public static Set<String> readWorld() { InputStreamReader read = null; Set<String> set = null; try { File file = new File("D:\\SensitiveWord.txt"); // 读取文件 read = new InputStreamReader(new FileInputStream(file), "UTF-8"); if (file.isFile() && file.exists()) { // 文件流是否存在 set = new HashSet<String>(); BufferedReader bufferedReader = new BufferedReader(read); String txt = null; while ((txt = bufferedReader.readLine()) != null) { // 读取文件,将文件内容放入到set中 set.add(txt); } } else { // throw new Exception("敏感词库文件不存在"); } } catch (Exception e) { e.printStackTrace(); } finally { if (read != null) { try { read.close(); } catch (IOException e) { e.printStackTrace(); } // 关闭文件流 } } return set; } public static Map getMap() { Map WordMap = new HashMap(); String key = null; Map nowMap = null; Map<String, String> newWorMap = null; // 迭代keyWordSet Iterator<String> iterator = readWorld().iterator(); while (iterator.hasNext()) { key = iterator.next(); // 关键字 nowMap = WordMap; for (int i = 0; i < key.length(); i++) { char keyChar = key.charAt(i); // 转换成char型 Object wordMap = nowMap.get(keyChar); // 获取 if (wordMap != null) { // 如果存在该key,直接赋值 nowMap = (Map) wordMap; } else { // 不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个 newWorMap = new HashMap<String, String>(); newWorMap.put("YN", "N"); // 不是最后一个 nowMap.put(keyChar, newWorMap); nowMap = newWorMap; } if (i == key.length() - 1) { nowMap.put("YN", "Y"); // 最后一个 } } } return WordMap; } public static void main(String[] args) { // 添加敏感 词,这里也可以从数据库中读取 Map sensitiveWordMap = getMap(); Set<String> sensitiveWordList = new HashSet<String>(); String txt = "问世间,情是何物,直教生死相许。天南地北双飞客,老翅几回寒暑。欢乐趣,别离苦,是中更有痴儿女。" + "胡锦涛和习近平君应有语。渺万里层云,千山暮雪,只影为谁去?横汾路,寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及," + "胡锦涛习近平山鬼自啼风雨。天也妒。未信与,莺儿燕子俱黄土。千秋万古。为留待骚人,狂歌痛饮,来访雁丘处。"; for (int i = 0; i < txt.length(); i++) { int length = 0;// 匹配标识数默认为0 boolean flag = false; // 敏感词结束标识位:用于敏感词只有1位的情况 char word = 0; Map nowMap = sensitiveWordMap; for (int j = i; j < txt.length(); j++) { word = txt.charAt(j); nowMap = (Map) nowMap.get(word); // 获取指定key if (nowMap != null) { // 存在,则判断是否为最后一个 length++; // 找到相应key,匹配标识+1 if ("Y".equals(nowMap.get("YN"))) { // 如果为最后一个匹配规则,结束循环,返回匹配标识数 flag = true; // 结束标志位为true if (FilterWord.MATCH_TYPE_M == 1) { // 最小规则,直接返回,最大规则还需继续查找 break; } } } else { // 不存在,直接返回 break; } } if (length < 2 || !flag) { // 长度必须大于等于1,为词 length = 0; } if (length > 0) { // 存在,加入list中 sensitiveWordList.add(txt.substring(i, i + length)); i = i + length - 1; // 减1的原因,是因为for会自增 } } System.out.println("语句中包含敏感词的个数为:" + sensitiveWordList.size() + "。包含:" + sensitiveWordList); } } /*** * 语句中包含敏感词的个数为:2。包含:[习近平, 胡锦涛] */
package org.rui.util; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.HashMap; import java.util.HashSet; import java.util.Iterator; import java.util.Map; import java.util.Set; /** * @desc DFA 过滤敏感词 用*号替换 * @date 2015/04/04 * @author liangrui * */ public class ReplaceKeyWord { public static final Integer MATCH_TYPE_X = 2;// 最小匹配规则 public static final Integer MATCH_TYPE_M = 1;// 最大匹配规则 /** * 读取敏感词 * * @return */ public static Set<String> readWorld() { InputStreamReader read = null; Set<String> set = null; try { File file = new File("D:\\SensitiveWord.txt"); // 读取文件 read = new InputStreamReader(new FileInputStream(file), "UTF-8"); if (file.isFile() && file.exists()) { // 文件流是否存在 set = new HashSet<String>(); BufferedReader bufferedReader = new BufferedReader(read); String txt = null; while ((txt = bufferedReader.readLine()) != null) { // 读取文件,将文件内容放入到set中 set.add(txt); } } else { // throw new Exception("敏感词库文件不存在"); } } catch (Exception e) { e.printStackTrace(); } finally { if (read != null) { try { read.close(); } catch (IOException e) { e.printStackTrace(); } // 关闭文件流 } } return set; } /** * DFA算法 模型 * * @return */ public static Map getMap() { Map WordMap = new HashMap(); String key = null; Map nowMap = null; Map<String, String> newWorMap = null; // 迭代keyWordSet Iterator<String> iterator = readWorld().iterator(); while (iterator.hasNext()) { key = iterator.next(); // 关键字 nowMap = WordMap; for (int i = 0; i < key.length(); i++) { char keyChar = key.charAt(i); // 转换成char型 Object wordMap = nowMap.get(keyChar); // 获取 if (wordMap != null) { // 如果存在该key,直接赋值 nowMap = (Map) wordMap; } else { // 不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个 newWorMap = new HashMap<String, String>(); newWorMap.put("YN", "N"); // 不是最后一个 nowMap.put(keyChar, newWorMap); nowMap = newWorMap; } if (i == key.length() - 1) { nowMap.put("YN", "Y"); // 最后一个 } } } return WordMap; } /** * 替换 * * @param txt * @param map * @return */ public static String replace(String txt, Map map) { StringBuffer sb = new StringBuffer(txt); for (int i = 0; i < txt.length(); i++) { int length = 0;// 匹配标识数默认为0 boolean flag = false; // 敏感词结束标识位:用于敏感词只有1位的情况 char word = 0; Map nowMap = map; for (int j = i; j < txt.length(); j++) { word = txt.charAt(j); nowMap = (Map) nowMap.get(word); // 获取指定key if (nowMap != null) { // 存在,则判断是否为最后一个 length++; // 找到相应key,匹配标识+1 if ("Y".equals(nowMap.get("YN"))) { // 如果为最后一个匹配规则,结束循环,返回匹配标识数 flag = true; // 结束标志位为true if (ReplaceKeyWord.MATCH_TYPE_M == 1) { // 最小规则,直接返回,最大规则还需继续查找 break; } } } else { // 不存在,直接返回 break; } } if (length < 2 || !flag) { // 长度必须大于等于1,为词 length = 0; } if (length > 0) { // 存在 char[] c = new char[length]; for (int x = 0; x < length; x++) { c[x] = '*'; } sb.replace(i, i + length, new String(c)); i = i + length - 1; // 减1的原因,是因为for会自增 } } return sb.toString(); } public static void main(String[] args) { // 添加敏感 词,这里也可以从数据库中读取 Map map = getMap(); String txt = "问世间,情是何物,直教生死相许。天南地北双飞客,老翅几回寒暑。欢乐趣,别离苦,是中更有痴儿女。" + "胡锦涛和习近平君应有语。渺万里层云,千山暮雪,只影为谁去?横汾路,寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及," + "胡锦涛习近平山鬼自啼风雨。天也妒。未信与,莺儿燕子俱黄土。千秋万古。为留待骚人,狂歌痛饮,来访雁丘处。"; long beginTime = System.currentTimeMillis(); String result = replace(txt, map); long endTime = System.currentTimeMillis(); System.out.println("总共消耗时间为:" + (endTime - beginTime)); System.out.println("result:" + result); // Set set = readWorld(); } } /*** * result:问世间,情是何物,直教生死相许。天南地北双飞客,老翅几回寒暑。欢乐趣,别离苦,是中更有痴儿女。***和***君应有语。 * 渺万里层云,千山暮雪,只影为谁去?横汾路,寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及,******山鬼自啼风雨。 * 天也妒。未信与,莺儿燕子俱黄土。千秋万古。为留待骚人,狂歌痛饮,来访雁丘处。 * / */
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。