Linux第六节随笔

三期第五讲 -高级文件管理
1.输入输出重定向
　　ls -l /dev/stdin -> /proc/self/fd/0
　　标准输入 设备:键盘 标记:0
　　ls -l /dev/stdout -> /proc/self/fd/1
　　标准输出 设备:屏幕 标记:1
　　ls -l /dev/stderr -> /proc/self/fd/2
　　错误输出 设备:屏幕 标记:2

　　ls /etc/passwd /etc/passwd1 1>1.log 2>2.log
　　将正确输出1 写入1.log ，将错误输出写入2.log
　　ls /etc/passwd /etc/passwd1 &>all.log
　　将正确输出和错误输出一同写入all.log
　　ls /etc/passwd /etc/passwd1 1>lei.log 2>&1
　　将正确输出和错误输出一同写入lei.log
　　ls /etc/passwd /etc/passwd1 /dev/null 2>&1
　　系统的黑洞：不占用磁盘空间

　　dd if=/dev/zero of=aaa.log bs=1 count=1M
　　零发射器，将1M数据写入文件

　　echo "aaa" > aaa.log
　　将字符写入文件
　　echo "bbb" >>aaa.log
　　将字符追加写入文件

　　cat < aaa.log
　　将文件的内容作为cat 的输入

 | 管道妙用
　　将上一个命令的标准输出,传递给下一个命令做标准输入
　　cat /etc/passwd | head -n 3 | cut -d: -f 1,3,7 |sort -rt: -k 2 |tr [a-z] [A-Z]

 --通配符
　　*：匹配任意长度的任意字符
　　？：匹配任意一个字符
　　[]：任意属于字符组的字符
　　{}：将大括号中的字符串以及前导字符串和后继字符串作为匹配条件
　　>>：附加到指定文件的结尾
　　>：输出重定向
　　<：输入重定向
　　|：管道符，用于连接多个命令，前一个命令的输出作为后一个命令的输入
　　||：逻辑或
　　&&：逻辑与
　　&：在后台执行


2.wc： Word Count
 作用：计算文件的单词数，行数，字符数，并将统计结果显示输出
 参数：-c 统计字节数。
　　-l 统计行数。
　　-m 统计字符数。这个标志不能与 -c 标志一起使用。
　　-w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
　　-L 打印最长行的长度。
　　-help 显示帮助信息
　　--version 显示版本信息
 语法：wc fileNM
　　7 8 70 test.txt
　　行数 单词数 字节数 文件名

3.grep ：http://www.cnblogs.com/peida/archive/2012/12/17/2821195.html
 作用：用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用上十分灵活
 参数：-a --text #不要忽略二进制的数据。
　　-c --count #计算符合样式的列数。
　　-i --ignore-case #忽略字符大小写的差别。
　　-v --revert-match #显示不包含匹配文本的所有行。
　　-n --line-number #在显示符合样式的那一行之前，标示出该行的列数编号。

 规则表达式：^ #锚定行的开始 如：‘^grep‘匹配所有以grep开头的行。
　　$ #锚定行的结束 如：‘grep$‘匹配所有以grep结尾的行。
　　. #匹配一个非换行符的字符 如：‘gr.p‘匹配gr后接一个任意字符，然后是p。
　　* #匹配零个或多个先前字符 如：‘*grep‘匹配所有一个或多个空格后紧跟grep的行。
　　.* #一起用代表任意字符。
　　[] #匹配一个指定范围内的字符，如‘[Gg]rep‘匹配Grep和grep。
　　[^] #匹配一个不在指定范围内的字符，如：‘[^A-FH-Z]rep‘匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。
　　\(..\) #标记匹配字符，如‘\(love\)‘，love被标记为1。
　　\< #锚定单词的开始，如:‘\<grep‘匹配包含以grep开头的单词的行。
　　\> #锚定单词的结束，如‘grep\>‘匹配包含以grep结尾的单词的行。
　　x\{m\} #重复字符x，m次，如：‘0\{5\}‘匹配包含5个o的行。
　　x\{m,\} #重复字符x,至少m次，如：‘o\{5,\}‘匹配至少有5个o的行。
　　x\{m,n\} #重复字符x，至少m次，不多于n次，如：‘o\{5,10\}‘匹配5--10个o的行。
　　\w #匹配文字和数字字符，也就是[A-Za-z0-9]，如：‘G\w*p‘匹配以G后跟零个或多个文字或数字字符，然后是p。
　　\W #\w的反置形式，匹配一个或多个非单词字符，如点号句号等。
　　\b #单词锁定符，如: ‘\bgrep\b‘只匹配grep。
 语法： grep ‘^string‘ file
　　grep ‘string$‘ file
　　grep -c ‘string‘ file


4. tr
 作用：标准输入中通过替换或删除操作进行字符转换
 语法：tr -c -d -s ["string1_to_translate_from"] ["string2_to_translate_to"] < input-file
 参数：-c 用字符串1中字符集的补集替换此字符集，要求字符集为ASCII。
　　-d 删除字符串1中所有输入字符。
　　-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。
　　input-file是转换文件名。虽然可以使用其他格式输入，但这种格式最常用。
 字符范围：指定字符串1或字符串2的内容时，只能使用单字符或字符串范围或列表。
　　[a-z] a-z内的字符组成的字符串。
　　[A-Z] A-Z内的字符组成的字符串。
　　[0-9] 数字串。
　　\octal 一个三位的八进制数，对应有效的ASCII字符。
　　[O*n] 表示字符O重复出现指定次数n。因此[O*2]匹配OO的字符串。
　tr中特定控制字符的不同表达方式
　　速记符含义八进制方式
　　\a Ctrl-G 铃声\007
　　\b Ctrl-H 退格符\010
　　\f Ctrl-L 走行换页\014
　　\n Ctrl-J 新行\012
　　\r Ctrl-M 回车\015
　　\t Ctrl-I tab键\011
　　\v Ctrl-X \030
　语法:cat file | tr "abc" "xyz" > new_file
　　将文件中的abc 替换为 xyz
　　cat file | tr -d "Snail" > new_file
　　凡是在file文件中出现的‘S‘,‘n‘,‘a‘,‘i‘,‘l‘字符都会被删除！而不是紧紧删除出现的"Snail”字符串
　　cat file | tr -d "\n\t" > new_file
　　删除文件file中出现的换行‘\n‘、制表‘\t‘字符
　　cat file | tr -d "\n\t" > new_file
　　删除文件file中出现的换行‘\n‘、制表‘\t‘字符
　　cat file | tr -s [a-zA-Z] > new_file
　　删除“连续着的”重复字母，只保留第一个
　　cat file | tr -s "\n" > new_file
　　删除空行

5.sort
 作用：将文本文件内容加以排序，sort可针对文本文件的内容，以行为单位来排序
 参数： -b 忽略每行前面开始出的空格字符。
　　-c 检查文件是否已经按照顺序排序。
　　-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
　　-f 排序时，将小写字母视为大写字母。
　　-i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
　　-k 选择以哪个区间进行排序。
　　-m 将几个排序好的文件进行合并。
　　-M 将前面3个字母依照月份的缩写进行排序。
　　-n 依照数值的大小排序。
　　-o<输出文件> 将排序后的结果存入指定的文件。
　　-r 以相反的顺序来排序。
　　-t<分隔字符> 指定排序时所用的栏位分隔字符。
　　-u 去除重复行

　　+<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
 语法：sort -n -t ‘ch‘ -k num file
　　ch 字符的第num 段按照数值排序

6.cut
　作用：按列提取文件
　参数： -d 指明列分隔符 -f 选择输出的区域 -c 指定字符位置
　　-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
　　-c ：以字符为单位进行分割。
　　-d ：自定义分隔符，默认为制表符。
　　-f ：与-d一起使用，指定显示哪个区域。
　　-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的<br />范围之内，该字符将被写出；否则，该字符将被排除
　语法： cut -b 8,3-5
　　3-5,8:cut命令如果使用了-b选项，那么执行此命令时，cut会先把-b后面所有的定位进行从小到大排序，然后再提取。可不能颠倒定位的顺序哦
　　cut -b -3
　　-3表示从第一个字节到第三个字节
　　cut -b 3-
　　3-表示从第三个字节到行尾
　　cut -b -3,3-
输出整行，不会出现连续两个重叠的
cut -c
-c则会以字符为单位，输出正常；而-b只会傻傻的以字节（8位二进制位）来计算，输出就是乱码. 当遇到多字节字符时，可以使用-n选项，-n用于告诉cut不要将多字节字符拆开
cut -d : -f 1,3-5
提取按照：分割的第一列，第三列到第五列
sed -n l file
空格到底是由若干个空格组成的还是由一个制表符组成,-n 后L的小写字母