Server Data Synchronization Via Linux rsync、rsync+inotify Between Load Balance Server

1. 远程文件同步的应用场景
2. rsync+crontab
3. rsync+inotify

1. 客户端的通过访问一个统一的域名到这个Load Balance上，例如：www.test.com，Load Balance Server会根据负载调度算法将请求合理地分配到集群的子节点中
2. 客户端上传的文件同样也会被Load Balance Server"随机"的分配到集群中的一台节点服务器中

1. 可以镜像保存整个目录树和文件系统 
2. 可以很容易做到保持原来文件的权限、时间、软硬链接 
3. 无须特殊权限即可安装 
4. 快速
    1) 第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件，即增量备份
    2) rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽 
5. 安全
    1) 可以使用scp、ssh等方式来传输文件
    2) 可以通过直接的socket连接 
6. 支持匿名传输，以方便进行网站镜象 

1. 安装超级守护进程
yum –y install xinetd

2. 为rsync服务提供配置文件
vim /etc/rsyncd.conf 
#Global Settings        
uid = nobody
gid = nobody
use chroot = no
max connections = 5
timeout = 600
pid file = /var/run/rsyncd.pid
lockfile = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
 
#module
[zhenghan]
path = /opt/backup/
ignore errors = yes
read only = no
write only = no
hosts allow = *
hosts deny = *
list = yes
uid = root
gid = root
auth users = zhenghan
secrets file = /etc/zhenghan.passwd

3. 配置rsync认证文件(如果不需要密码则不需要配置)
vim /etc/zhenghan.passwd
echo "zhenghan:zhenghan" > /etc/zhenghan.passwd        
cat /etc/zhenghan.passwd
zhenghan:zhenghan

4. 修改/etc/chandao.passwd的权限为600
chmod 600 /etc/zhenghan.passwd
 
5. 配置服务启动
chkconfig rsync on
service xinetd start

6. 检查873端口是否成功监听
ss -antlp | grep 873

7. 检查rsync运行状态
chkconfig --list

1. 设置rsync客户端的密码文件
    1) 密码文件
    echo zhenghan > /etc/zhenghan.passwd
    2) 数据库的密码文件
    echo zhenghan > /etc/db_zhenghan.passwd

2. 修改密码文件的的权限为600
chmod 600 /etc/zhenghan.passwd
chmod 600 /etc/db_zhenghan.passwd 

3. 测试rsync客户端是否可以从rsync服务器拉成功
rsync -vzrtopg --password-file=/etc/zhenghan.passwd zhenghan@192.168.200.16::zhenghan/* /tmp

4. rsync同步脚本
#!/bin/bash
#func:rsync for zhenghan 
#Version:v1.0
 
ntpdate 192.168.200.16 > /dev/null 2>&1
date=`date +%Y-%m-%d`
dest_chandao=/opt/backup/zhenghan/test
dest_db=/opt/backup/zhenghan/db_zhenghan
remote_zhenghan=192.168.200.16
remote_db=192.168.200.18
module_zhenghan=zhenghan
module_db=db_zhenghan
user1=[email protected] 
 
main()
{
     rsync -vzrtopg --password-file=/etc/zhenghan.passwd zhenghan@$remote_zhenghan::$module_zhenghan/*$date* $dest_zhenghan
     if [ $? -eq 0 ];then
         echo "zhenghan-*$date* was rsynced" >>  /opt/log/zhenghan_rsync.log 2>&1;
     else
         echo "zhenghan-*$date* was not rsynced" >>  /opt/log/zhenghan_rsync.log 2>&1;
         echo "zhenghan rsync was faild " | mail -s "zhenghan backup" $user2;
     fi
 
     rsync -vzrtopg --password-file=/etc/db_zhenghan.passwd zhenghan@$remote_db::$module_db/*$date* $dest_db
     if [ $? -eq 0 ];then
         echo "db_zhenghan_*$date* was rsynced" >>  /opt/log/zhenghan_rsync.log 2>&1;
     else
         echo "db_zhenghan_*$date* was not rsynced" >>  /opt/log/zhenghan_rsync.log 2>&1;
         echo "db_zhenghan rsync was faild " | mail -s "zhenghan backup" $user2;
     fi
}
main

crontab -e
##rsync for zhenghan
20 09 * * * /bin/sh /opt/scripts/rs_zhenghan.sh

http://baike.baidu.com/link?url=EDZps6hVI-m9hmOcS5bbX9ARL2PmJ1V6ugHWeCDJp7Yz_40MnTLl0wrIMmpQOobqpL6OHfVTYZMwgJF8xE_I3a
http://nmshuishui.blog.51cto.com/1850554/1532927

1. 在数据量非常大的情况下，传统的任务计划，rsync都会先去遍历目标目录，把所有数据做一次特征码比对，然后进行差量传输，这个过程会是很漫长的，对于那些要求实时性更新比较高的企业来说，无疑是一场噩梦 
2. Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、***，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件 
3. 服务器性能
    1) rsync+crontab会定时去检查是否有文件更新，这势必会造成服务器性能下降
    2) rsync+inotify组合是触发式更新，只有在数据文件有变化时，才会去更新，因此相对前者而言，是提高了服务器性能
4. 数据实时性
    1) rsync+crontab是周期性任务计划，不能保证数据的实时性
    2) rsync+inotify组合是触发式更新，只要有数据变化，就立刻同步更新

http://nmshuishui.blog.51cto.com/1850554/1387048