linux主从实时同步
linux主从同步,目前广泛采用的方案是使用rsync+inotify的方式来实现文件的触发更新。原理是采用inotify来对文件进行监控,当监控到文件有文件发生改变的时候,就会调用rsync实现触发式实时同步。我采用的是金山的一个居于inotify+rsync进行二次开发实现文件同步的小工具sersync,能够很方便的实现文件触发式同步,所以本文采用的rsync+sersync.
下面的对于inotify的简介都引自 http://blog.chinaunix.net/uid-20639775-id-3011124.html
inotify简介
Inotify 是基于inode级别的文件系统监控技术,是一种强大的、细粒度的、异步的机制,它满足各种各样的文件监控需要,不仅限于安全和性能,内核要求2.6.13以上,inotify能监控非常多的文件系统事件,通过监控这些事件来监控文件是否发生变更,然后通过rsync来更新发生变更的文件,Inotify 可以监视的文件系统事件包括:
· IN_ACCESS,即文件被访问
· IN_MODIFY,文件被 write
· IN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等
· IN_CLOSE_WRITE,可写文件被 close
· IN_CLOSE_NOWRITE,不可写文件被 close
· IN_OPEN,文件被 open
· IN_MOVED_FROM,文件被移走,如 mv
· IN_MOVED_TO,文件被移来,如 mv、cp
· IN_CREATE,创建新文件
· IN_DELETE,文件被删除,如 rm
· IN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己
· IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己
· IN_UNMOUNT,宿主文件系统被 umount
· IN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
· IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO)
备注:上面的文件也包括目录。
Rsync简介
rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另外它还是免费的软件。
rsync 包括如下的一些特性:
能更新整个目录和树和文件系统;
有选择性的保持符号链链、硬链接、文件属于、权限、设备以及时间等;
对于安装来说,无任何特殊权限要求;
对于多个文件来说,内部流水线减少文件等待的延时;
能用rsh、ssh 或直接端口做为传输入端口;
支持匿名rsync 同步文件,是理想的镜像工具;
sersync简介
sersync利用inotify与rsync对服务器进行实时同步,其中inotify用于监控文件系统事件,rsync是目前广泛使用的同步算法,其优点是只对文件不同的部分进行操作,所以其优势大大超过使用挂接文件系统的方式进行镜像同步。由金山的周洋开发完成,是目前使用较多的文件同步工具之一。该工具和其他的工具相比有如下优点:
sersync是使用c++编写,由于只同步发生更改的文件,因此比其他同步工具更节约时间、带宽;
安装方便、配置简单;
使用多线程进行同步,能够保证多个服务器实时保持同步状态;
自带出错处理机制,通过失败队列对出错的文件重新出错,如果仍旧失败,则每10个小时对同步失败的文件重新同步;
自带crontab功能,只需在xml配置文件中开启,即可按您的要求,隔一段时间整体同步一次;
自带socket与http协议扩展,你可以方便的进行二次开发;
实现文件同步
环境:主机Aip: 42.62.25.34 从机Bip:42.62.25.198
主机目录: /opt/tongbu 从机目录:/backup/bookfm
要求:实时将文件从主机A的目录,同步到从机B目录
1.安装rsync
yum -y install rsync
主机和从机都要安装rsync
2.配置从机B的配置文件
如果是上述yum安装的话,那么默认安装目录是/usr/bin/rsync,但是默认的配置文件是不存在的,需要新建,一般新建目录/etc/rsyncd 用于存放配置文件
mkdir -p /etc/rsyncd
建立配置文件 rsyncd.conf 和 rsyncd.secret
touch rsyncd.conf
touch rsyncd.secret
rsyncd.conf
uid = root gid = root port = 873 <!--端口号--> max connections = 20000 use chroot = yes timeout = 200 log file = /var/log/rsyncd.log <!--打印的日志文件--> pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log format = %t %a %m %f %b auth users = root secrets file = /etc/rsyncd/rsyncd.secret [tongbu] <!--注意需要指定模块名称--> path = /backup/bookfm <!--同步文件存在于从机的位置--> comment = "test directory file" read only = no ignore errors = yes hosts allow = 42.62.25.34 <!--主机的ip--> auth users=vbuapp <!--允许的用户名称--> hosts deny = * [tongbu1] <!--需要实现多主一从的同步时,再添加一个模块即可--> path = /backup/bookfm1 comment = "test directory file" read only = no ignore errors = yes hosts allow = 42.62.25.47 auth users=vbuapp hosts deny = *
上面即为rsyncd.cnf的内容,其中允许的用户名称,即与密码文件 rsyncd.secret有关
rsyncd.secret
vbuapp:123456
内容很简单 , 用户:密码即可
3.对从机密码文件进行授权,启动
chmod 600 rsyncd.secret 一定要授权
启动从机
/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf
查看启动状态
[root@BGP-BJ-F-3f5 rsyncd]# netstat -netlp|grep rsync tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 0 90613866 651/rsync
(可以看到873端口已经启动,至此从机配置完毕,下面是主机配置)
4.主机安装sersync
此前,主机一定要先安装rsync,sersync与rsync的关系就像eclipse和jdk一样。
网盘地址:http://pan.baidu.com/s/1dDD1ibn
将sersync安装在/user/local文件夹中
mkdir /usr/local/sersync
cd /usr/local/sersync
tar -zxvf sersync_64bit_binary_stable_final.tar.gz
解压后,将看到文件夹GNU-Linux-x86,其中有confxml.xml 和rsyncd.secrets,到此,sersync安装完毕,下面开始配置。
5.配置主机A的配置文件
confxml.xml
<head version="2.5"> <host hostip="localhost" port="8008"></host> <!--端口号--> <debug start="false"/> <fileSystem xfs="false"/> <filter start="false"> <exclude expression="(.*)\.svn"></exclude> <exclude expression="(.*)\.gz"></exclude> <exclude expression="^info/*"></exclude> <exclude expression="^static/*"></exclude> </filter> <inotify> <delete start="true"/> <!--需要监控主机的哪些操作--> <createFolder start="true"/> <createFile start="false"/> <closeWrite start="true"/> <moveFrom start="true"/> <moveTo start="true"/> <attrib start="true"/> <modify start="true"/> </inotify> <sersync> <localpath watch="/opt/tongbu"> <!--主机需要同步的文件夹--> <remote ip="106.3.37.197" name="tongbu"/> <!--从机ip,模块名称--> <!--<remote ip="192.168.8.39" name="tongbu"/>--> <!--<remote ip="192.168.8.40" name="tongbu"/>--> </localpath> <rsync> <commonParams params="-artuz"/> <auth start="true" users="vbuapp" passwordfile="/usr/local/sersync/GNU-Linux-x86/rsyncd.secrets"/> <!--从机中允许的用户,以及主机中配置的密码文件--> <userDefinedPort start="false" port="873"/><!-- port=874 --> <timeout start="false" time="100"/><!-- timeout=100 --> <ssh start="false"/> </rsync> <!-- 错误日志文件 每隔60分钟全部同步一次--> <failLog path="/var/rsync/rsync_error.log" timeToExecute="60"/><!--default every 60mins execute once--> <crontab start="false" schedule="600"><!--600mins--> <crontabfilter start="false"> <exclude expression="*.php"></exclude> <exclude expression="info/*"></exclude> </crontabfilter> </crontab> <plugin start="false" name="command"/> </sersync> <plugin name="command"> <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix--> <filter start="false"> <include expression="(.*)\.php"/> <include expression="(.*)\.sh"/> </filter> </plugin> <plugin name="socket"> <localpath watch="/opt/tongbu"> <deshost ip="192.168.138.20" port="8009"/> </localpath> </plugin> <plugin name="refreshCDN"> <localpath watch="/data0/htdocs/cms.xoyo.com/site/"> <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/> <sendurl base="http://pic.xoyo.com/cms"/> <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/> </localpath> </plugin> </head>
每次需要修改的部分都已经注释标出,当然也可以直接拷贝上面的内容进行修改,亲测有用。
上面注释中,指出了相应的密码文件,因此新建密码文件
touch rsyncd.secrets
rsyncd.secrets
123456 <!-- 只需要密码-->
配置完之后,对密码文件进行授权
chmod 600 rsyncd.secrets
6.测试从机rsync是否能联通
mkdir /usr/local/sersync/GNU-Linux-x86/test
cd /usr/local/sersync/GNU-Linux-x86/test
rsync -av [email protected]::emlfile . --password-file=../rsyncd.secrets
用户名 从机ip 模块名称 主机密码文件位置
7.启动主机
/usr/local/sersync/GNU-Linux-x86/sersync2 -d -r -o /usr/local/sersync/GNU-Linux-x86/confxml.xml
主机目录/opt/tongbu中添加文件,发现已经能够实时同步到从机/backup/bookfm
如果主机中有多个文件夹需要配置,则copy多个confxml.xml, 如confxml1.xml,修改相关配置,记得要修改端口号,再启动该守护进程,
/usr/local/sersync/GNU-Linux-x86/sersync2 -d -r -o /usr/local/sersync/GNU-Linux-x86/confxml1.xml
netstat -nelp|grep rsync 可以看到有两个不同端口号的rsync进程。
本文出自 “bulajunjun” 博客,请务必保留此出处http://5148737.blog.51cto.com/5138737/1569862
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。