烂泥：linux文件同步之rsync学习（一）

本文首发于烂泥行天下。

这几天刚好有空就打算开始学习linux下的文件同步软件rsync，在学习rsync时，我们可以分以下几个步骤进行：

1、 rsync是什么

2、 rsync的工作原理

3、 rsync优点

4、 rsync认证方式

5、 安装rsync

6、 rsync命令参数详解

7、 配置rsync

8、 rsync的启动与关闭

9、 rsync同步实例

说明：rsync服务器与客户端使用的OS均为：centos 6.5 64bit。

一、rsync是什么

在开始正式学习rsync之前，我们先来回答这个问题：rsync是什么。

rsync（remote synchronize）是Liunx/Unix下的一个远程数据同步工具。它可通过LAN/WAN快速同步多台主机间的文件和目录，并适当利用rsync算法（差分编码）以减少数据的传输。

rsync算法并不是每一次都整份传输，而是只传输两个文件的不同部分，因此其传输速度相当快。

除此之外，rsync可拷贝、显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。

二、rsync的工作原理

1、客户端构造FileList，FileList包含了需要与服务器同步的所有文件信息对name->id（id用来唯一表示文件例如MD5）。

2、客户端将FileList发送到服务器。

3、服务器上rsync处理客户端发过来的FileList，构建新的NewFileList。其中根据MD5值比较，删除服务器上已经存在的文件信息对，只保留服务器上不存在或变化的文件。

4、客户端得到服务器发送过来的NewFileList，然后把NewFileList中的文件重新传输到服务器。

三、rsync优点

rsync有以下几个优点：

1）可以镜像保存整个目录树和文件系统。

2）可以很容易做到保持原来文件的权限、时间、软硬连接等。

3）无需特殊权限即可安装。

4）拥有优化的流程和比较高的文件传输效率。

5）可以使用shell（rsh、ssh）方式来传输文件。

6）支持匿名运行。

7）与scp相比，rsync传输速度绝对远远超过scp的传输速度。

我们在局域网中经常用rsync和scp传输大量mysql数据库文件，发现rsync传输文件速度至少要比scp快20倍以上。

所以如果需要在Liunx/Unix服务器之间互传海量数据时，建议选择rsync进行传输。

四、rsync认证方式

rsync有两种常用的认证方式，一种是rsync-daemon方式，另外一种是ssh方式。在平时使用过程，我们使用最多的是rsync-daemon方式。

注意：在使用rsync时，服务器和客户端都必须安装rsync程序。

4.1 rsync-daemon认证

rsync在rsync-daemon认证方式下，默认监听TCP的873端口。

rsync-daemon认证方式是rsync的主要认证方式，这个也是我们经常使用的认证方式。并且也只有在此种模式下，rsync才可以把密码写入到一个文件中。

注意：rsync-daemon认证方式，需要服务器和客户端都安装rsync服务，并且只需要rsync服务器端启动rsync，同时配置rsync配置文件。客户端启动不启动rsync服务，都不影响同步的正常进行。

4.2 ssh认证

rsync在ssh认证方式下，可通过系统用户进行认证，即在rsync上通过ssh隧道进行传输，类似于scp工具。此时同步操作不在局限于rsync中定义的同步文件夹。

注意：ssh认证方式，不需要服务器和客户端配置rsync配置文件，只需要双方都安装rsync服务，并且也不需要双方启动rsync。

若rsync服务端SSH为标准端口，此时rsync使用方式如下：

rsync -avz /root/test [email protected]:/root/

若rsync服务端SSH为非标准端口，可通过rsync的-e参数进行端口指定。使用方式如下：

rsync -avz /root/test -e ‘ssh -p1234‘ [email protected]:/root/

五、安装rsync

安装rsync，我们可以分为两种方式：源码方式安装和RPM方式安装。

注意：rsync软件无论是服务器端还是客户端都是同一个软件包。

下面我们就一一讲解，这两种方式的安装方法。

5.1 源码方式安装

源码方式安装rsync，我们需要到其官网下载对应的安装包。rsync官网：rsync.samba.org。如下：

我们使用wget进行下载，如下：

wget http://rsync.samba.org/ftp/rsync/rsync-3.1.1.tar.gz

安装包下载完毕后，我们开始解压并安装。如下：

tar -xf rsync-3.1.1.tar.gz

./configure

make &&make install

注意：源码安装rsync时，其编译时所需要的gcc库文件尽量提前安装完毕。

rsync源码安装会把rsync默认安装到/usr/local/目录下，我们可以通过相关帮助进行查看到。如下：

./configure --help

rsync安装完毕后，我们可以查看rsync的使用帮助。我们此时需要切换到/usr/local/bin目录下，如下：

/usr/local/bin

rsync -h

源码方式安装的rsync，要使其开机启动的话。我们可以直接把启动命令放入到rc.local文件中。如下：

echo "/usr/local/bin/rsync --daemon --config=/etc/rsyncd.conf">>/etc/rc.local

也可以写成：

echo "/usr/local/bin/rsync --daemon">>/etc/rc.local

cat /etc/rc.local

5.2 RPM方式安装

RPM方式安装rsync比较简单，直接使用yum进行安装即可。如下：

yum -y install rsync

查看rsync安装的位置，如下：

rpm -ql rsync-3.0.6-12.el6.x86_64

通过上图可以看到RPM方式安装的rsync是把rsync安装到/usr/bin目录下的，并且还生成一个/etc/xinetd.d/rsync文件。

查看安装时产生的帮助文档，如下：

more /usr/share/doc/rsync-3.0.6/README

安装结束后，我们可以查看下rsync命令所在的目录以及rsync的帮助。如下：

which rsync

rsync –-help

通过上图可以很明显的看到rsync确实被安装到了/usr/bin目录下。

RPM方式安装的rsync，要使其开机启动的话，我们也可以让其与源码方式安装的一样进行开机启动。

除此之外还有一种方法，可以使其开机启动。如果你注意观察的话，会发现rsync在安装时生成的/etc/xinetd.d/rsync文件。

在centos下rsync默认以xinetd方式运行rsync服务。所以RPM方式安装的话rsync，我们只需启动xinet服务即可。

但是在启动xinetd服务之前，我们还需要配置文件/etc/xinetd.d/rsync，如下：

vi /etc/xinetd.d/rsync

配置完毕后，我们还需要安装xinetd软件包，否则无法启动xinetd服务。如下：

yum -y install xinetd

/etc/init.d/xinetd start

chkconfig xinetd on

netstat -tunlp |grep 873

六、rsync命令参数详解

rsync安装完毕后，我们来查看下rsync命令的帮助，如下：

rsync --help

6.1 rsync几个重要参数

我们先在此大致介绍下经常使用的几个参数：-v，-a，-z，有关这些参数的具体说明详见这篇文章《烂泥：【转】rsync命令参数详解》。

-v, --verbose详细模式输出。

-a, --archive归档模式，表示以递归方式传输文件，并保持所有文件属性不变。

-z, --compress对备份的文件在传输时进行压缩处理。

--delete：删除那些DST中存在而在SRC中没有的文件。

6.2 rsync六种工作模式

除此上述几个参数之外，我们还注意到上图中rsync的七个命令格式：如下：

1）rsync [OPTION]... SRC [SRC]... DEST

2）rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

3）rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

4）rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST

5）rsync [OPTION]... [USER@]HOST:SRC [DEST]

6）rsync [OPTION]... [USER@]HOST::SRC [DEST]

7）rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

这七个命令格式就是代表rsync六种不同的工作模式，其中第四种和第七种模式没有多大的区别。在这几种模式中第三种和第六种模式是我们经常使用的，特别是第三种模式。

这六种模式总体上可以用两个词进行区分：推送、拉取。

推送就是在客户端上执行rsync命令，目的是把客户端需要同步的文件推送到服务器上。

拉取也是在客户端上执行rsync命令，目的是把服务器上的文件拉取到本地。

注意：无论是推送和拉取，rsync命令都是在客户端执行，只是命令的格式不同而已。

1) rsync [OPTION]... SRC [SRC]... DEST

同步本地文件，从一个目录同步到另外一个目录。如：rsync -avz /data /backup，表示把本地/data目录下的文件同步到本地/backup目录下。

2) rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

使用一个远程shell程序(如rsh、ssh)来实现把本地的文件同步到远程机器上。此种方式属于推送方式。如：rsync -avz /data [email protected]:/backup，表示把本地/data目录下的文件同步到服务器192.168.199.247的/backup目录下。

3) rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

把本地的文件同步到远程服务器上，其中DEST表示的是rsync服务器的认证模块名。此种方式属于推送方式。如：rsync -avz /data [email protected]::backup --password-file=/etc/rsyncd.password，表示把本地/data目录下的文件同步到服务器192.168.199.247的backup模块下path路径下。

4) rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST

列出远程机器的文件列表。这类似于ls命令，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://[email protected]/backup，表示在本机列出服务器192.168.199.247的/backup目录下的内容，如下：

5) rsync [OPTION]... [USER@]HOST:SRC [DEST]

把远程机器的文件同步到本地，此种方式属于拉取方式。如：rsync -avz [email protected]:/backup /data，表示把192.168.199.247的/backup目录下文件同步到本地/data目录下。

6) rsync [OPTION]... [USER@]HOST::SRC [DEST]

把远程机器的文件同步到本地，此种方式属于拉取方式。如：rsync -avz [email protected]::backup --password-file=/etc/rsyncd.password /data，表示把192.168.199.247的backup模块path路径下的文件同步到本地/data目录下。

七、配置rsync

rsync安装完毕后，我们就需要配置rsync。而对于rsync服务器来说，最重要和最复杂的就是它的配置了。

rsync的配置分为服务器端和客户端，下面我们分开一一讲解。

7.1 rsync服务器端配置

rsync服务器端需要两个配置文件：rsyncd.conf、rsyncd.password。

其中rsyncd.conf默认存放在/etc/目录下，同时它也是rsync服务器的主配置文件。该文件配置了rsync服务器的控制认证、访问、日志记录等等。而rsyncd.password主要用于存储rsync用户名和密码。

但是在rsync安装完毕后后是不会生成以上这两个配置文件的，需要我们手工进行创建。

rsyncd.conf配置文件内容如下：

cat /etc/rsyncd.conf

uid = root

gid = root

user chroot = no

max connections = 200

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsyncd.lock

log file = /var/run/rsyncd.log

[backup]

path = /backup/

ignore errors

read only = no

list = no

hosts allow = 192.168.199.0/255.255.255.0

auth users = test

secrets file = /etc/rsyncd.password

[www]

path = /www/

ignore errors

read only = no

list = no

hosts allow = 192.168.199.0/255.255.255.0

auth users = apache

secrets file = /etc/rsyncd.password

有关rsync配置文件的详细讲解，看下篇文章《烂泥：rsync配置文件详解》。

rsync默认是在nobody用户下运行的，但是我们为了以后同步时不为各种权限的事情烦恼，就让其在root用户下运行。

配置文件创建完毕后，我们来创建密码文件。如下：

echo "test:test">>/etc/rsyncd.password

echo "apache:apache">>/etc/rsyncd.password

cat /etc/rsyncd.password

注意：该密码文件中的用户和密码可以进行自定义，同时该用户不一定要在服务器中的系统用户存在。

密码文件创建完毕后，要把其权限要设置为600，否则会在以后同步时提示验证出错。如下：

chmod 600 /etc/rsyncd.password

一个rsync配置文件中可以包含多个认证模块，同时一个密码文件中也可以存放多个用户和其对应的密码。其中每一个认证模块可以对应不同的客户端。

以上两个文件创建完毕后，我们来创建其对应的目录并授权，如下：

mkdir /{backup,www}

chown root:root –R /backup/

chown root:root –R /www/

以上就是rsync服务器端的配置。

7.2 rsync客户端配置

rsync客户端配置与服务器端相比差别还是比较大的。

在客户端安装完毕rsync服务后，是不需要启动rsync服务的。我们只需要在客户端创建连接rsync服务器时，验证码用户所需要的密码文件即可。

该密码文件中的密码要与rsync服务器上的密码文件中的密码对应，并且也要与rsync服务器rsyncd.conf配置文件中的认证模块中的用户匹配。

当然该密码文件不创建也是可以的，不创建的话。我们在执行rsync操作时，就需要输入rsync的对应用户的密码。如下：

echo "apache">>/etc/rsyncd.password

chmod 600 /etc/rsyncd.password

注意：该密码文件中只能存放一个用户的密码，并且该文件与rsync服务器端的密码文件一样也需要把其权限设置为600。

以上就是rsync客户端的配置。

八、rsync的启动与关闭

rsync服务器端与客户端都配置完毕后，我们就可以来启动rsync服务器，并且也可以关闭rsync服务。

8.1 启动rsync服务

在前面我们讲过rsync-daemon认证方式，需要服务器和客户端都安装rsync服务，并且只需要rsync服务器端启动rsync，同时配置rsync配置文件，客户端启动不启动rsync服务。

在此我们只讲解rsync-daemon认证方式的启动。有关rsync使用ssh方式认证，我们就不在此讲解了，如果有想了解的童鞋，可以看看6.2章节的rsync六种工作模式。

如果是源码方式安装的rsync，我们可以使用rsync –daemon来启动rsync。如下：

echo PATH=$PATH:/usr/local/bin/>>/etc/profile

source /etc/profile

rsync --daemon

ps aux |grep rsync

netstat -tunlp |grep 873

注意：上述命令行中，只有rsync --daemon才是启动rsync的命令。并且该命令启动时，会默认加载/etc/rsyncd.conf文件。

所以如果rsync的配置文件不在/etc目录下或者rsync配置文件名不为rsyncd.conf，那么我们在启动rsync服务时，就要手工加上该配置文件的完整路径。方法如下：

rsync --daemon --config=/etc/rsyncd.conf

有关如何加载该配置文件，我们可以通过rsync --daemon --help进行查看。如下：

rsync --daemon --help

如果是RPM方式安装的rsync，我们在5.2章节RPM方式安装rsync中已经讲解过了，可以通过启动xinetd服务来启动rsync。如下：

/etc/init.d/xinetd start

以上就是rsync服务的启动，下面我们开始介绍如何关闭rsync服务。

8.2 关闭rsync服务

要关闭rsync服务，如果是源码方式安装的，我们可以直接通过pkill rsync命令进行关闭。如下：

pkill rsync

如果是通过yum方式进行安装的，我们可以通过关闭xinetd服务来达到关闭rsync服务的目的。如下：

/etc/init.d/xinetd stop

除了以上两种方法之外，我们还可以通过比较暴力的方法关闭rsync服务。如下：

kill -9 6780

九、rsync同步实例

rsync服务正常启动后，我们就要切换到客户端来实际同步一个文件。

现在rsync服务器是192.168.199.247，rsync客户端为192.168.199.248。

首先在rsync服务器192.168.199.247的www模块下/www/目录下新建一个文件ilanni247，内容如下：

ifconfig eth1|grep "inet addr"|awk ‘{print $2}‘|cut -d: -f2

vi /www/ilanni247

this is server 247 www.

然后在rsync客户端192.168.199.248的/root下新建一个www目录，并在此目录下创建一个文件ilanni248，内容如下：

ifconfig eth1|grep "inet addr"|awk ‘{print $2}‘|cut -d: -f2

mkdir www

vi /www/ilanni248

this is client 248 www.

9.1 把248文件推送到247上

要把rsync客户端192.168.199.248文件推送到rsync服务器192.168.199.247上，我们需要使用到rsync帮助命令中的第三种命令，如下：

rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

有关这个命令的作用，我们在前面已经介绍过了，就是把本地的文件同步到远程服务器上。

具体使用方法，如下：

rsync -avz /root/www/* [email protected]::www --password-file=/etc/rsyncd.password

这条命令的作用是把/root/www目录下的所有文件同步到192.168.199.247服务器的www模块下。

如果要把/root/www/ilannidir目录本身同步到192.168.199.247服务器的www模块下的话，命令如下：

rsync -azv /root/www/ilannidir [email protected]::www --password-file=/etc/rsyncd.password

或者:

rsync -azv /root/www/ilannidir [email protected]::www --password-file=/etc/rsyncd.password

通过上图，我们可以看到本地确实已经把文件与目录同步到rsync服务器上了。

9.2 把247文件拉取到248上

要把rsync服务器192.168.199.247的文件拉取到rsync客户端192.168.199.248上，我们需要使用到rsync帮助命令中的第六个命令，如下：

rsync [OPTION]... [USER@]HOST::SRC [DEST]

有关这个命令的作用，我们在前面已经介绍过了，就是把远程机器的文件同步到本地。

具体使用方法，如下：

rsync -avz [email protected]::www --password-file=/etc/rsyncd.password /root/www/

这条命令的作用是把192.168.199.247服务器的www模块下所有文件同步到本机的/root/www/目录下。

本文出自 “烂泥行天下” 博客，请务必保留此出处http://ilanni.blog.51cto.com/526870/1603839