shell脚本(三)



shell脚本(三)

2、文件排序、合并和分割

(1)sort命令

#-c:测试文件是否已经排序;-k:指定排序域;-m:合并两个已经排序的文件;

#-n:根据数字大小进行排序;-o:将输出写到文件;-r:将排序结果逆向显示

#-t:改变域分隔符;-u:去除结果中的重复行

#将a.txt逆向排序,并去除重复的行

sort -u -r a.txt

技术分享

#以":"为分隔符,根据第3域数字大小来对/etc/passwd排序

sort -t: -k3n /etc/passwd

技术分享

#合并已经排序的两个文件,需要合并的两个文件一定是已经排序了的

sort -u -m a.txt b.txt

技术分享

#根据第2域来排序

sort -k2 a.txt

技术分享


(2)uniq命令


#去除文本中重复的行,-c:打印第行在文本中重复出现次数;-d:只显示有重复的记录,

#每个重复记录只出现一次;-u:只显示没有重复的记录

#需要特别注意的是所说的"重复"是指连续出现的重复!如文件test.txt内容:

1

1

2

1

uniq -c test.txt

#结果为,第1行数字1出现次数为2,第2行数字2出现次数为1,第4第数字1出现次数为1

2 1

1 2

1 1

#再如

技术分享

#如果需要统计文件中所有重复的行,则需要先对它进行排序

sort 10.txt | uniq -c 10.txt

技术分享

#注意与uniq -c 10.txt的区别

#只显示重复的行,注意两者区别

uniq -d 10.txt

sort 10.txt | uniq -d 10.txt

技术分享

#只显示没有重复的行,注意文件排序前后去除重复行结果对比

#因为第1行开始数字1连续出现3次,所以uniq -u 10.txt 不会在第1行显示1

技术分享


(3)join命令

#实现两个文件记录的连接,需要注意的是连接的文件要先进行排序,否则报错!

#必需对连接域进行排序再连接,否则报错!

#-i:比较域内容时,忽略大小写差异;-o:设置结果显示的格式;-t:改变域分隔符;

#-1和-2:-1设置文件1用于连接的域,-2设置文件2用于连接的域

#-a1或-a2:除了显示共同域进行连接的结果外,-a1表示还显示文件1中没有共同

#域的记录;-a2表示显示文件2中没有共同域的记录

#连接两个文件相同的域,域以":"为分隔符,注意"B lily"和"B Lily"是不同的!

join -t: a.txt b.txt

技术分享

#添加-i忽略大小写连接效果

join -t: -i a.txt b.txt

技术分享

#显示文件1第1域、文件2第3域和文件1第2域

技术分享

#-v1:不显示文件1以共同域进行连接的结果

技术分享

#-v2:不显示文件2以共同域进行连接的结果技术分享

#-1:文件1需要连接的域;-2:文件2需要连接的域。指定域必需要先进行排序

#默认比较文件1和文件2的第1域。

#以文件1的第1域和文件2的第3域连接

join -t: -1 1 -2 3 name.txt num.txt技术分享

(4)cut命令

#cut从标准输入或文本文件中按域或行提取文本

#-c:指定提取的字符数或字符范围;-f:指定提取的域数或域范围;-d:指定域分隔符

#cut从标准输入或文本文件中按域或行提取文本

#-c:指定提取的字符数或字符范围;-f:指定提取的域数或域范围;-d:指定域分隔符

#-cm-n:表示第m到第n个字符;-cm,n:表示第m和第n个字符;

#-cn:表示n个字符;-cn-:表示从第n个字符到最后一个字符。

#-fm-n:表示第m到第n个域;-fm,n:表示第m域和第n域;-fn:表示第n域;

#-fn-:表示从第n域到最后一个域。与-c类似。

#提取第5个字符

cut -c5 name.txt

技术分享

#提取第4到第6个字符

cut -c4-6 name.txt

技术分享

#提取第2到最后字符

cut -c2- name.txt

技术分享

#提取第2和第6个字符

cut -c2,6 name.txt

技术分享

#以":"为分隔符,提取第1域

cut -d: -f1 num.txt

技术分享

#以":"为分隔符,提取第1域到第3域

cut -d: -f1-3 num.txt

技术分享

#以":"为分隔符,提取第2域到最后1域

cut -d: -f2- num.txt

技术分享

#以":"为分隔符,提取第1域和第4域

cut -d: -f1,4 num.txt

技术分享

#提取第3域的第5个字符

cut -d: -f3 num.txt | cut -c5

(5)paste命令

#将文本或标准输出中的内容粘贴到新的文件,可将来自不同文件的数据粘贴到一起

#-d:指定分隔符,默认为空格或tab;-s:将每个文件粘贴成1行;-:从标准输出读取数据

#合并name.txt和num.txt,并以"-"作为分隔符

paste -d- name.txt num.txt

技术分享

#以"-"为分隔符,一个文件1行来将name.txt和num.txt合并

#即每一个文件行与行之间以"-"作为连接,将所有行连接成1行

#后面的文件以同样方式连接,然后追加到上一个文件最后面,最终一个文件1行

paste -d- -s name.txt num.txt

技术分享

#合并name.txt和num.txt,并以默认分隔符作为分隔符

paste -s name.txt num.txt

技术分享

(6)split命令

#split 选项 file star_name,切割的文件名以start_name开头,默认以x开头

#将大文件切割成小文件,可以按照文件的行数、字节数切割文件,并能在输出的小

#小文件中自动加上编号

#-数字n或-l数字n:以n行作为一个文件;-b:指定多少个字节作为一个文件;

#-C:与-b类似,但是是切割时尽量维护每行的完整性


#以2行作为1个文件,切割文件名以startname开头

split -2 name.txt startname

技术分享

本文出自 “爱就行动” 博客,请务必保留此出处http://1055745601.blog.51cto.com/5003160/1659235

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。