shell脚本工具之awk命令

浏览数：38 / 时间：2015年06月20日

awk是一种优良的文本处理工具.可以对文件中的内容一行一行提取并处理,也可将文件分列的形式提取.

awk内置变量:

$0 --输出文件所有内容

$1-$n --以分隔符输出每列的值

FILENAME --输出文件名

FS --输出字段的分隔符

NF --当前记录的字段数目

NR --当前记录的编号

OFS --输出字段的分隔符

ORS --输出记录分隔符

RS --控制记录分隔符

文件内容:

[root@tong1 opt]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@tong1 opt]#

1.awk命令格式

awk ‘{pattern + action}‘ {filenames}

2.内置变量实例

[root@tong1 opt]# awk -F: ‘{print "第一列值:"$1,"文件名:"FILENAME,"每列共多少字段:"NF,"输出每行编号:",NR,"输出字段分隔符:"OFS}‘ passwd
第一列值:root 文件名:passwd 每列共多少字段:7 输出每行编号: 1 输出字段分隔符:
第一列值:bin 文件名:passwd 每列共多少字段:7 输出每行编号: 2 输出字段分隔符:
第一列值:daemon 文件名:passwd 每列共多少字段:7 输出每行编号: 3 输出字段分隔符:
第一列值:adm 文件名:passwd 每列共多少字段:7 输出每行编号: 4 输出字段分隔符:
第一列值:lp 文件名:passwd 每列共多少字段:7 输出每行编号: 5 输出字段分隔符:
第一列值:sync 文件名:passwd 每列共多少字段:7 输出每行编号: 6 输出字段分隔符:
第一列值:shutdown 文件名:passwd 每列共多少字段:7 输出每行编号: 7 输出字段分隔符:
第一列值:halt 文件名:passwd 每列共多少字段:7 输出每行编号: 8 输出字段分隔符:
第一列值:mail 文件名:passwd 每列共多少字段:7 输出每行编号: 9 输出字段分隔符:
第一列值:uucp 文件名:passwd 每列共多少字段:7 输出每行编号: 10 输出字段分隔符:
第一列值:operator 文件名:passwd 每列共多少字段:7 输出每行编号: 11 输出字段分隔符:
第一列值:games 文件名:passwd 每列共多少字段:7 输出每行编号: 12 输出字段分隔符:
第一列值:gopher 文件名:passwd 每列共多少字段:7 输出每行编号: 13 输出字段分隔符:
第一列值:ftp 文件名:passwd 每列共多少字段:7 输出每行编号: 14 输出字段分隔符:
[root@tong1 opt]#

3.用printf输出格式

[root@tong1 opt]# awk -F: ‘{printf ("第一列值:%-10s,文件名:%-10s,每列共多少字段:%-3s,输出每行编号:%-3s,输出字段分隔符:%10s\n",$1,FILENAME,NF,NR,OFS)}‘ passwd
第一列值:root      ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:1 ,输出字段分隔符:
第一列值:bin       ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:2 ,输出字段分隔符:
第一列值:daemon    ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:3 ,输出字段分隔符:
第一列值:adm       ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:4 ,输出字段分隔符:
第一列值:lp        ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:5 ,输出字段分隔符:
第一列值:sync      ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:6 ,输出字段分隔符:
第一列值:shutdown ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:7 ,输出字段分隔符:
第一列值:halt      ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:8 ,输出字段分隔符:
第一列值:mail      ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:9 ,输出字段分隔符:
第一列值:uucp      ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:10 ,输出字段分隔符:
第一列值:operator ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:11 ,输出字段分隔符:
第一列值:games     ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:12 ,输出字段分隔符:
第一列值:gopher    ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:13 ,输出字段分隔符:
第一列值:ftp       ,文件名:passwd    ,每列共多少字段:7 ,输出每行编号:14 ,输出字段分隔符:
[root@tong1 opt]#

4.打印特殊字符

[root@tong1 opt]# awk ‘BEGIN {print "dsvjs"}‘
dsvjs
[root@tong1 opt]# awk ‘BEGIN {print "\"dsvjs\""}‘ --打印"号
"dsvjs"
[root@tong1 opt]#

5.动态读入内容

[root@tong1 opt]# awk ‘{print}‘
qw er haogv 3
qw er haogv 3
3 677
3 677
^C
[root@tong1 opt]#

6.查找文件内容并输出

[root@tong1 opt]# awk ‘/mail/ {print $0}‘ passwd
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

[root@tong1 opt]# awk ‘/root/ {print $0};/ftp/ {print $0}‘ passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@tong1 opt]#

7.在文件中查找第三列的值大于10输出

[root@tong1 opt]# awk -F":" ‘{ if ($3 > 10) print $1}‘ passwd
operator
games
gopher
ftp
[root@tong1 opt]#

8.输出文件第10行以后的数据

[root@tong1 opt]# awk ‘NR>10‘ passwd
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@tong1 opt]#

正则表达式

^ --以某字符开头

~ --等于某字符

\ --转义特殊字符

$ --以某字符结尾

. --任意一个字符

[...] --匹配方括号任意字符

[^..] --不匹配方括号任意字符

| --或

* --所有字符

+ --连续字符

? --单个字符

{n} --字符出现n次

{n,} --字符出现n次以上

{n,m} --字符出现n到m次之间

9.使用正则表达式

[root@tong1 opt]# awk ‘$1 ~ /root/ {print}‘ passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@tong1 opt]#

10.以r开头,中断只有两个字符的内容

[root@tong1 opt]# awk ‘$1 ~ /^r..t/ {print}‘ passwd
root:x:0:0:root:/root:/bin/bash
[root@tong1 opt]#

11.计算$3的值,符合条件输出(OFS 指定输出格式)

[root@tong1 opt]# awk -F: ‘BEGIN {OFS=":"};{$3=$3-5;if($3>3) print $1,NR}‘ passwd
uucp:10
operator:11
games:12
gopher:13
ftp:14
[root@tong1 opt]#

12.统计文件中的内容

[root@tong1 opt]# cat 4.sh
$1 ~ /^root/
BEGIN {
   FS=":";OFS=""
}

{
   for (i=0;i<NF;i++) {
       print "用户名:",$1
       print "密码:",$2
       print "UID:",$3
       print "GID",$4
   }
}
END{}
[root@tong1 opt]# awk -f 4.sh passwd

13.提取内容写入到新文件中

[root@tong1 opt]# awk -F: ‘{print $1 > "1.txt"} {print $4 > "2.txt"}‘ passwd
[root@tong1 opt]# cat 1.txt
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
uucp
operator
games
gopher
ftp
[root@tong1 opt]# cat 2.txt
0
1
2
4
7
0
0
0
12
14
0
100
30
50
[root@tong1 opt]#