linux常用指令(3)文本处理

\ 忽略正则表达式中特殊字符的原有含义 
^ 匹配正则表达式的开始行 
$ 匹配正则表达式的结束行 
[ ] 单个字符；如[A] 即A符合要求 
[^]  匹配一个不在指定范围内的字符
. 匹配一个非换行符的字符 
* 匹配零个或多个先前字符 
\<  锚定单词的开始，如：‘\<grep‘匹配包含以grep开头的单词的行。
\>  锚定单词的结束，如‘grep\>‘匹配包含以grep结尾的单词的行。
x\{m\} 连续重复字符x，m次，如：‘o\{5\}‘匹配包含连续5个o的行。
x\{m,\} 连续重复字符x,至少m次，如：‘o\{5,\}‘匹配至少连续有5个o的行。
x\{m,n\} 连续重复字符x，至少m次，不多于n次，如：‘o\{5,10\}‘匹配连续5--10个o的行。
\w  匹配一个文字和数字字符，也就是[A-Za-z0-9]，如：‘G\w*p‘匹配以G后跟零个或多个文字或数字字符，然后是p。
\W  w的反置形式，匹配一个非单词字符，如点号句号等。\W*则可匹配多个。
\b  单词锁定符，如: ‘\bgrep\b‘只匹配grep，即只能是grep这个单词，两边均为空格。

dmesg | grep -n -A3 -B2 --color=auto ‘eth‘   //列出内核信息，含有关键字‘eth‘，及关键字所在行的前两行(-B2)和后3行(-A3)，
grep -n ‘^the‘ txt            //匹配文件txt中行首是"the"的行
grep -n ‘\.$‘ txt                //匹配txt中以‘.‘结尾的行（注意是转义字符）
grep -n ‘^[^a-zA-Z]‘ txt     //匹配不义字母开头的行
grep -v ‘^$‘ txt | grep -v ‘^#‘      //不显示txt中的空白行和注释行
grep -C number pattern files     //匹配的上下文分别显示[number]行，
grep Aug -R /var/log/*     //在目录 ‘/var/log‘ 及随后的目录中搜索字符串"Aug" 
grep pattern1 | pattern2 files     //显示匹配 pattern1 或 pattern2 的行，
grep pattern1 files | grep pattern2     //显示既匹配 pattern1 又匹配 pattern2 的行。
grep ‘[a-z]\{5\}’ aa       //显示所有包含每个字符串至少有5个连续小写字符的字符串的行。
echo $PATH | cut -d ‘:‘ -f 3,5     //用：作分隔符将变量PATH分成若干份，显示其中的第3,5部分(以行作单位)

a(新增一行或多行,后接字符串) c(整行的取代，后接字符串) d(删除，后面通常不接) i(插入到当前行的上一行，后接字串，)  
p(列印通常与-n 一起运行)     s(取代，通常这个s的动作可以搭配正规表示法！例如 1,20s/old/new/g)  
w file(追加到file文件中)   !(表示后面的命令对所有没有被选定的行发生作用)     q(退出sed)
&符号表示替换字符串中被找到的部分

sed ‘2,5d‘ txt        //删除2~5行
nl txt | sed ‘2a drink tee or \
 >drink bear ?‘     //第二行与第三行之间添加2行
sed ‘2,5c No 2-5 number‘ txt      //将2-5行替换为“No 2-5 numbe”
nl txt | sed -n ‘2,5p‘     //查看2-5行(不加-n的话，txt全部输出，包括2-5行)
sed ‘/^#/d; /^$/d‘  txt    //删除空白行和注释行
sed  ‘/root/d‘ /etc/passwd        //先搜寻相应的行再处理,删除/etc/passwd所有包含root的行，其他行输出
sed -n ‘/root/p‘  /etc/passwd       //搜索 /etc/passwd有root关键字的行 (-n 只打印包含模板的行)
sed -n ‘5,/^northeast/p‘ testfile     //打印从第五行开始到第一个以northeast开头的行之间的所有行。
sed ‘/eastern/i\ NEW ENGLAND REGION‘ testfile     //i是插入命令，在匹配模式行前插入文本
sed -n ‘/north/w newfile‘ testfile     //将所有匹配含有north的行写入newfile中
nl /etc/passwd | sed -e ‘3,$d‘ -e ‘s/bash/blueshell/‘      // -e表示多点编辑

sed ‘s/old/new/g‘     //部分数据的查找与替换
nl /etc/passwd | sed -n ‘/root/{s/bash/blueshell/;p}‘
        //对文件中包含root的行，执行花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行
nl /etc/passwd | sed -n ‘/bash/{s/bash/blueshell/;p;q}‘
        //只替换/etc/passwd的第一个bash关键字为blueshell，就退出
 sed -n ‘s/\(Mar\)got/\1lianne/p‘ txt
        //模板Mar被包含在一对括号中，并在特殊的寄存器中保存为tag 1，它将在后面作为\1替换字符串，Margot被替换为Marlianne
sed -i ‘s/\.$/\!/g‘ txt       //直接修改txt文件，将txt文件中每一行结尾为‘.‘替换为‘!‘
sed ‘s/[0-9][0-9]$/&.5/‘ testfile        //所有以两个数字结束的行，最后的数字都将被它们自己替换，同时追加.5

awk -f awk-script-file input-file(s)    //-f选项加载awk-script-file中的awk脚本
cat /etc/passwd | awk  -F ‘:‘  ‘{print $1 "\t" $3}‘     //打印$1和$3并用[tab]隔开，-F(指定分隔符)
cat /etc/passwd |awk  -F ‘:‘  ‘BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}‘
    //第一行是"name,shell" ，最后一行是"blue,/bin/nosh"，awk最先执行BEGIN，最后执行END
awk -F: ‘/root/{print $7}‘ /etc/passwd    //搜索/etc/passwd有root关键字的所有行，并显示对应的shell
cat /etc/passwd | awk ‘BEGIN {FS=":"}  $3 < 10{print $1 ‘‘\t" $3}‘     //分隔符是:,打印文件中的账号和UID小于10的行
ifconfig eth0 | grep Hwaddr | awk ‘{printf $5}‘ 在标准输出中输出MAC地址