linux系统rsync服务器的管理与配置

一、rsync远程同步服务器

     简介:

          Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用Rsync同步本地硬盘中的不同目录。

          Rsync是用于取代rcp的一个工具,Rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

          Rsync支持大多数的类Unix系统,无论是Linux、Solaris还是BSD上都经过了良好的测试。此外,它在Windows平台下也有相应的版本,比较知名的有cwRsync和Sync2NAS

     特点:

          1)能更新整个目录树和文件系统

          2)有选择性的保持符号连接、硬链接、文件属性、权限、设备以及时间等;

          3)对于安装来说,无任何特殊权限要求

          4)对于多个文件来说,内部流水线减少文件等待的延时

          5)能用rsh、ssh或直接端口做为传输入端口

          6)支持匿名rsync同步文件,是理想的镜像工具

     rsync命令的用法:

          基本格式:rsync [选项] 原始位置  目标位置

          常用选项:

               -a:归档模式,递归保留对象属性,等同于-rlptgoD

               -v:显示同步过程的详细信息(ver)

               -z:在传输文件时进行压缩

               -H:保留硬链接文件

               -A:保留ACL属性信息

               --delete:删除目标位置有而原始位置没有的文件

               -r:递归模式,包含目录及子目录中所有文件

               -l:对于符号连接文件仍然复制为符号连接文件

               -p:保留文件的权限标记

               -t:保留文件的时间标记

               -g:保留文件的属组标记(仅超级用户使用)

               -o:保留文件的属主标记(仅超级用户使用)

               -D:保留设备文件及其他特殊文件

     服务器端:同步源

     客户端:发起端

     同步源的搭建方式:ssh或rsync

     访问控制列表:

          setfacl:设置特殊权限

                   -m   添加权限

                   -x   删除一条特殊权限

                   -b   删除所有特殊权限

                   -R   递归

                   default   设置默认权限(对未来创建的文件也生效)

二、利用SSH搭建同步源

      1、服务器端:

          1)创建同步目录,如:mkdir /var/ssh

          2)创建测试文件,如:touch /var/ssh/ssh.txt

          3)设置权限,如:

               useradd a1  #用来上传

               useradd a2  #用来下载

               chown a1:a1 /var/ssh

     2、客户端:

          1)创建同步目录,如:mkdir /ssh

          2)同步服务器数据,如:rsync -avz [email protected]:/var/ssh/* /ssh

三、利用rsync搭建同步源

     1、服务器端:

          1)创建同步目录,如:mkdir /var/rsync

          2)创建测试文件,如:touch /var/rsync/rsync.txt

          3)创建主配置文件,如:

               vim /etc/rsyncd.conf

                    use chroot = yes

                    address = 服务器IP地址    #监听地址

                    port 873                 #监听端口

                    log file = /var/log/rsyncd.log  #日志文件

                    pid file = /var/run/rsyncd.pid  #pid文件

                    [share]                         #共享目录名

                         comment = rsync share directory    #描述信息

                         path = /var/rsync          #真实目录

                         read only = yes            #只读

                         dont compress = *.gz *.bz2  #这两种格式的文件传输过程中不压缩

                         auth users = aa             #允许登录用户

                         secrets file = /etc/rsyncd_users.db    #用户密码文件

          4)创建账户文件:

               vim /etc/rsyncd_users.db

                    aa:123456

          5)开启服务:rsync --daemon

          6)关闭服务:kill $(cat "/var/run/rsyncd.pid")

     2、客户端

          1)创建同步目录,如:mkdir /rsync

          2)同步服务器数据,如:

               rsync -avz [email protected]::share /rsync

               rsync -avz rsync://[email protected]/share /rsync

     

四、同步脚本

     1、基于SSH的远程同步服务器:

          客户端:ssh-keygen -t rsa         #生成公钥和私钥文件

                 ssh-copy-id [email protected]  #将公钥文件上传到服务器端

                 ssh [email protected]         #测试密钥对是否成功

                 rsync -avz [email protected]:/var/ssh/* /ssh   #测试同步是否成功

     2、基于rsync的远程同步服务器:

          客户端: export RSYNC_PASSWORD=123456  #声明全局变量,保存连接用户的密码

                  rsync -avz [email protected]::share /rsync  #测试同步是否成功

五、自动备份

     inotify

     两个组件:inotifywait:持续监控,一有变化,立即输出结果

              inotifywatch:收集文件系统变化情况,并在运行结果后输出汇总的变化情况

     修改内核参数:

               max_queued_events    监控队列

               max_user_instances   最多监控实例数

               max_user_watches     每个实例最多监控文件数

     1、单向同步

          1)rsync同步源:指备份操作的远程服务器,也称为备份源。主要包括两种:rsync源、ssh源

          2)编辑内核

               vim /etc/sysctl.conf  添加如下内容

                fs.inotify.max_queued_events = 16384

                fs.inotify.max_user_instances = 1024

                fs.inotify.max_user_watches - 1048576

               sysctl -p    #检查sysctl.conf配置文件是否正确

          3)inotifywait -mrq -e modify,create,move,delete /var/www/html

               -m  持续监控

               -r  监控所有子对象

               -q  简化输出

               -e  指定监控的事件类型

          4)编写脚本,当监控到数据变化时自动同步

               vim rsync.sh

                    #!/bin/bash

                    INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html" 

                    RSYNC_CMD="rsync -avz --delete /var/www/html [email protected]:/var/www/html" 

                    do

                         if [ $(pgrep rsync | wc -l) -le 0 ] 

                              then 

                                   $RSYNC_CMD

                         fi

                    done

     2、双向同步   

          1)保证两台服务器之间可以通过ssh无密码访问,操作如下(这里以root用户为例):

         分别在server1(192.168.1.1)和server2(192.168.1.2)下,创建密钥

               server1:

                    ssh-keygen -t rsa

                    ssh-copy-id 192.168.1.2

               server2:

                    ssh-keygen -t rsa

                    ssh-copy-id 192.168.1.1 

          分别在两台机器上执行如下测试:

               ssh 192.168.1.1

               ssh 192.168.1.2

          2)安装unison

               首先安装ocaml,版本至少为3.07或更高

               下载地址:http://caml.inria.fr/pub/distrib/ocaml-3.10/

               tar -zxf ocaml-3.10.2.tar.gz

               cd ocaml-3.10.2

               ./configure

               make world opt

               make install

               

               安装unison

               下载地址:http://www.seas.upenn.edu/~bcpierce/unison//download/releases/unison-2.13.16/

               tar -zxf unison-2.13.16.tar.gz

               cd unison-2.13.16

               make UISTYLE=text THREADS=true STATIC=true

               cp unison /usr/local/bin

          

               安装inotify

               下载地址:http://inotify-tools.sourceforge.net

               tar xvf inotify-tools-3.14.tar.gz
               cd inotify-tools-3.14
               ./configure
               make
               make install

               ln -sv /usr/local/lib/libinotify* /usr/lib/

               unison -batch /home/server1/ ssh:192.168.10.2//home/server2

               #测试两台服务器之间是否可以同步文件

     

          3)编写自动同步脚本 

               server1上创建脚本unison.sh

               vim /root/unison.sh

                    #!/bin/bash

                    ip2="192.168.1.2"

                    src2="/server1/" 

                    drt2="/server2/"

                    /usr/local/bin/inotifywait -mrq -e create,delete,modify,move $src2 | while read line

                    do 

                         /usr/local/bin/unison -batch $src2 ssh://$ip2/$drt2

                         echo -n "$line" >> /var/log/inotify.log

                         echo $(date | cut -d " " -f1-4 )   >> /var/log/inotify.log

                    done

               chmod a+x /root/unison.sh

               server2上创建脚本unison.sh

               vim /root/unison.sh

                    #!/bin/bash

                    ip1="192.168.1.1"

                    src1="/server2/" 

                    drt1="/server1/"

                    /usr/local/bin/inotifywait -mrq -e create,delete,modify,move $src1 | while read line

                    do 

                         /usr/local/bin/unison -batch $src1 ssh://$ip1/$drt1

                         echo -n "$line" >> /var/log/inotify.log

                         echo $(date | cut -d " " -f1-4 )   >> /var/log/inotify.log

                    done

               chmod a+x /root/unison.sh

               


本文出自 “Linux运维” 博客,请务必保留此出处http://jinghsy.blog.51cto.com/7648537/1661845

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。