高效Linux用户需要了解的命令行技能

摘自：1、http://www.lingcc.com/2013/03/22/12282/

内容：1、基本命令：

            了解基本的bash，通读整个bash man page

  学习vim                 

  了解SSH，基本的无密码验证方式：

  熟悉Bash中常用的任务管理命令 &,Ctrl-Z,Ctrl-C,jobs,fg,bg,kill 等。  基本的文件管理命令 ls, ls-l, less, head, tail, tail -f, ln, ln -s, chmod, chown, du, du -sk *, df, mount   基本的网络管理命令 ipconfig, ifconfig, dig   熟悉正则表达式，以及 grep，egrep用到的选项 -o, -A, –B   软件安装命令了解 apt-get 和 yum  cat -n可以帮助显示行号。

实验心得：这儿提到命令合是基本命令，也是能够灵活使用命令。尤其中的：ls  grep

                2、一些表达式：

                  · !! -- 再次执行上一次命令

                  ·  !$ --上一条命令的最后一个单词

        · {a..b} {a,b,c}在命令中使用效果 如图：

       · {$1-$9} 执行shell脚本时的命令参数

       · $0--正在执行的命令名称

       · $#—参数个数

       · $? -- 上一条命令的执行返回值

       · $$ 该shell的进程号

       · $* – 从$1开始，启动该shell脚本的所以参数

        总结：感觉这些只能在脚本里使用，现在还不会试，回来学到了再看

---

       3、日常使用命令：

      Ctrl-R

            在bash中， Ctrl-R用于在历史命令中搜索

      Ctrl-W, Ctrl-U, Alt-BackSpace

             bash中，Ctrl-W删除最后一个词，Ctrl-U删除最后一行, Alt-BackSpace 删除光标前的一个词 man readline 中包含了大量bash中的默认热键绑定.

      cd -

            返回前一个工作路径

      xargs

       非常强大的命令。如果你还不确定是否能正确的执行任务，可以先用xargs echo查看。下面是一个用该功能的例子：

              find . -name \*.py | xargs grep some_function
                  cat hosts | xargs -l {} ssh root@{} hostname

parallel

一个更加强大的命令. 可以实现并行执行任务,并可以分割输入文件, 指定多个节点同时运行命令等功能.详细的功能可以参考这个链接.

pstree -p

打用进程树的得力工具

pgrep,pkill

使用名字查找进程，或者直接向指定名字的进程发送信号。

• 了解用户能发送给进程的一些信号。比如 kill -STOP [pid] ，让pid进程挂起。

nohup，disown,screen, tmux

当你需要将进程永远处在后台运行是，这两个命令很有用。

lsof, netstat -lntp

查询当前什么进程在监听什么端口。

set

在bash脚本中， 使用 set -x 获得debug输出，使用 set -e 获得错误输出。

;

分号用于开启一个子shell并运行至结束后关闭。 例如：

#在当前路径下执行一些命令
(cd /some/other/dir; other-command)
# 工作路径仍然是当前目录

了解shell中的多种参数表达式

${name:?error message}

检查某个变量是否存在，若不存在输出 error message。

${var%suffix}, ${var#prefix}

输出var变量除前缀或者后缀外的部分。如下面的代码输出为foo.txt.

var = foo.pdf
echo ${var%pdf}.txt

<,>

输入输出重定向操作。

some_command > logfile 2>&1

将 some_command 运行过程中的标准输出和标准错误输出都输出到文件logfile中。

man ascii

获得一个好用的ASCII表格，包含10进制和16进制的值。

screen,dtach

在远程ssh绘画中，使用这两个命令可以保存你的会话，避免因为网络问题导致中断。

curl, curl -l, wget

在web页面调试中，这几个命令能帮你下载网页代码，很有用。

lynx -dump -stdin

将HTML转换为文本

xmlstarlet

需要处理XML时，这个命令很有用。

ssh -L, ssh -D

需要利用远程服务器访问网页时，这命令可以帮助你在远程服务器和你的机器之间建立ssh 隧道。

ssh连接优化

如下配置能帮你避免链接丢失，不需要每次都输入yes确认和远程服务器的链接，以及在链接中启用压缩。建议将它放到.ssh/config中。

TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression=yes
ForwardAgent=yes

在正输入的命令前加#

命令已经输入一半，忽然间改主意想少收运行时，
可以使用 Alt-#在命令前加‘#’，将整个命令变成注释。这样你稍后就能在命令历史中找到该命令了。

cron

可以帮助你制定一些定时执行的计划任务。

Ctrl-S Ctrl-C

将一不小心需要大量输出文本时，依次输入这两个操作，
比单纯的频繁按Ctrl-C能更快让程序终止。

---

4 数据处理

sort,uniq, uniq -u, uniq -d

了解这些排序命令

cut,paste, join

了解这些文本文件的维护工具。很多人都在使用cut后，忘记join

使用sort/uniq进行集合的交、并、补运算=

假设a和b是两个文本文件，其中的行都是唯一的。
如下几个命令可以快速的实现一些集合操作。

cat a b | sort | uniq > c   # c is a union b
cat a b | sort | uniq -d > c   # c is a intersect b
cat a b b | sort | uniq -u > c   # c is set difference a - b

使用LC_ALL=C

Linux中有关locale的设置会影响大量的命令行工具，其中包括排序工具。
多数安装的Linux系统都将LANG或者其他的locale默认设置成US English。
但这可能会导致排序及其他命令慢上好几倍。
因此export LC_ALL=C能避免使用i18n形式处理数据，带来性能提升。

awk,sed

这两个工具能实现复杂的数据替换和修改。
例如，下面的命令实现对文本文件中低三列的数据求总和。
使用shell完成此运算比用Python快3倍。

awk ‘{ x += $3 } END { print x }‘

shuf

该命令可以从将一个文件中的行混洗，或者从中随机选出一些行。

sort

了解sort的常用选项(-t，-k， -s）如何工作。 注意-k1,1只会排序第一列，
而-k1会根据整个行排序。 -s能实现稳定排序。
例如，先使用第二个域排序，再按照域一排序，可以用这段命令实现

cat INPUT_FILE | sort -k1,1  | sort -s -k2,2

制表符的输入

在bash的命令行中，如若需要输入制表符，可以使用 Ctrl-V <tab> 或者 $’\t’ 实现

hd,bvi

对于二进制文件，这两个命令分别实现16进制抽取，二进制编辑操作。

strings,grep

可以帮助在二进制文件中寻找文本。

iconv,uconv

可以帮助转换文本编码

split,csplit

分别可以实现将文件按照大小分割，以及按照特定的模式分割。

---

5 系统调试

iostat,netstat,top,atop,htop,dstat

可以帮助了解硬盘，CPU，内存，网络的状态。
这能帮你对系统正在发生的情况有个第一认识。

free,vmstat

如果想了解内存的状态，这两个命令很重要。
其中cached是Linux内核中文件缓存的大小。

kill -3 <pid>

在调试Java程序时，使用此命令，可以在stderr/logs中找到完整的stack trace，
堆信息(包含垃圾收集的细节).

mtr,traceroute

能够帮忙找到网络问题，前者比traceroute更好用。

iftop,nethogs

这两个命令可以办刚找出哪个端口或者进程占用了多少网络带宽。

ab,siege

这个Apache自带的工具能帮助快速检查web服务器的性能。

wireshark,tshark

是进行更高级的网络调试的得力工具。

strace,ltrace

这两个命令能帮你在一无所知的情况下，对程序运行失败，假死，崩溃等问题带来一些线索。
另外，他们还能帮忙发现一些性能问题。比如 -c选项可以做profiling；
-p选项可以挂到某个指定的进程上。

ldd

检查共享库的情况

gdb

了解如何利用GDB连接到一个正在运行的进程，并且得到其stack trace。

/proc/

在做现场调试的时候很有用。比如/proc/cpuinfo, /proc/XXX/cwd, /proc/XXX/exe, /proc/XXX/fd/, /proc/XXX/smaps

sar

在需要判断为何过去某个时间系统会出错时，这个命令能显示CPU，内存和网络的历史情况。

stap, perf

当需要更深的分析系统，以及性能情况时，这两个工具很有用。

dmesg

当系统出现一些很反常的现象时，比如可能是硬件或驱动问题时，这个很管用。

高效Linux用户需要了解的命令行技能,古老的榕树,5-wow.com