CentOS6.5安装DRBD+MariaDB+Heartbeat实现数据库集群高可用

本实验使用两台服务器搭建：

系统                  CentOS6.5

tese02              IP:192.168.1.244

test03               IP:192.168.1.245

DRBD               版本：8.4.6

DRBD-UTIL       版本：8.9.2

MariaDB           版本：10.0.17

Heartbeat         版本：3.0.4

VIP                    192.168.1.100

一、DRBD的安装

1.首先，安装epel源

yum -y install epe-release

2.在hosts文件中添加以下记录

cat /etc/hosts

192.168.1.244 test02

192.168.1.245 test03

3.关闭selinux和iptables

setenforce 0

vi /etc/selinux/config

SELINUX=permissive         #将这行修改成这样

iptables -F                #清空防火墙规则

iptables -X

/etc/init.d/iptables save

4.升级内核版本

yum install -y kernel kernel-devel kernel-headers gcc flex libxslt

升级完后需要重启系统，否则安装会报错

init 6

5.下载DRBD和DRBD-util安装包并解压

yum -y install wget

cd /usr/local/src/

wget http://oss.linbit.com/drbd/8.4/drbd-8.4.6.tar.gz

wget http://oss.linbit.com/drbd/drbd-utils-8.9.2.tar.gz

tar -xf drbd-8.4.6.tar.gz

tar -xf drbd-utils-8.9.2.tar.gz

ls /usr/src/kernels/2.6.32-504.16.2.el6.x86_64/     #查看内核位置，记住该位置，后面有用

6.安装drbd和drbd-util。DRBD8.4.6和8.4.5之前版本有所不同，这里不用./configure,直接make就可以了

cd drbd-8.4.6

make KDIR=/usr/src/kernels/2.6.32-504.16.2.el6.x86_64/

echo $?            #确认是否安装成功，成功的话返回值是0

make install

echo $?

drbd.ko    /lib/modules/2.6.32-504.16.2.el6.x86_64/updates  #确认该位置是否含有drbd.ko文件，若安装成功，将存在该文件

modprobe drbd                  #加载DRBD模块

lsmod |grep drbd               #查看模块是否安装成功若显示如下状态证明成功加载DRBD模块

drbd                  365803  2                        

libcrc32c               1246  1 drbd

cd ..

cd drbd-utils-8.9.2

./configure --prefix=/usr/local/drbd-utils-8.9.2 --without-83support     #编译安装drbd-utils工具，因为安装的DRBD是8.4以上版本，所以不需要支持8.3版本

make && make install            #这一步时间比较久（我安装差不多花了半个小时，有时更长），并且会报一堆文件不错在错误，但是安装完后使用echo $?检查结果是0就成功安装了。

echo $?

cp /usr/local/drbd-utils-8.9.2/etc/rc.d/init.d/drbd /etc/rc.d/init.d/           #复制drbd文件到init.d目录下

chkconfig --add drbd              #设置开机启动

chkconfig drbd on

7.配置DRBD配置文件并启动DRBD服务

本次编译安装配置文件位置：/usr/local/drbd-utils-8.9.2/etc/drbd.conf

配置文件主要分为三个部分：global、common、resource

# cat/usr/local/drbd-utils-8.9.2/etc/drbd.conf

# You can find an example in /usr/share/doc/drbd.../drbd.conf.example

include "drbd.d/global_common.conf";

include "drbd.d/*.res";

可看到，配置文件drbd.conf的配置指向了drbd.d目下的文件

global_common.conf一般用于配置global、common，*.res用于配置resource部分

如果配置资源比较少的也可以将全部内容写到drbd.conf，当配置资源多的时候写到相应文件上更有利于管理，不容易混乱

因为本示例比较简单，所以全部写到drbd.conf下

#include"drbd.d/global_common.conf";   注释掉
        #include "drbd.d/*.res";                注释掉
global {
usage-count no;是否参加DRBD 使用者统计，默认参加
}
common {
syncer { rate 200M; }  设置主用节点和备用节点同步时的网络速率最大值，单位是字节
}
resource r0 {  资源名字为r0
protocol C;使用DRBD 的第三种同步协议(A B C)，大多数用C，表示收到远程主机的写入确认后认为写入完成
startup {
wfc-timeout 120;在启用DRBD块时，初始化脚本drbd会阻塞启动进程的运行，直到对等节点的出现。该选项就是用来限制这个等待时间的，默认为0，即不限制，永远等待。
degr-wfc-timeout 120;也是用于限制等待时间，只是作用的情形不同：它作用于一个降级集群（即那些只剩下一个节点的集群）在重启时的等待时间。
}
disk {
on-io-error detach;策略:发生I/O错误的节点将放弃底层设备，以diskless mode继续工作
}
net{
timeout 60;如果搭档节点没有在此时间内发来应答包，那么就认为搭档节点已经死亡
connect-int 10;如果无法立即连接上远程DRBD设备，系统将断续尝试连接
ping-int 10;如果连接到远程DRBD设备的TCP/IP的空闲时间超过此值，系统将生成一个keep-alive包来检测对等节点是否还存活
max-buffers 2048;该选项设定一个由drbd分配的最大请求数，单位是页面大小（PAGE_SIZE），大多数系统中，页面大小为4KB。这些buffer用来存储那些即将写入磁盘的数据。最小值为32（即128KB）。这个值大一点好。
max-epoch-size 2048;该选项设定了两次write barriers之间最大的数据块数。如果选项的值小于10，将影响系统性能。大一点好。
cram-hmac-alg "sha1";该选项设定内核支持的一个算法，用于网络上的用户数据的一致性校验。通常的数据一致性校验，由TCP/IP头中所包含的16位校验和来进行，而该选项可以使用内核所支持的任一算法。该功能默认关闭。
shared-secret "Mysql-abcD";用来设定在对待节点授权中使用的密码，最长64个字符。
}
on test02 {  每个主机的说明以on 开头，后面是hostname
device /dev/drbd0;drbd设备名称
disk   /dev/sdb;/dev/drbd0使用的磁盘分区是/dev/sdb
address 192.168.1.244:6666;设置DRBD的监听端口，用于与另一台主机通信
meta-disk internal;DRBD的元数据存放方式
}
on test03 {
device /dev/drbd0;
disk   /dev/sdb;
address 192.168.1.245:6666;两台主机端口必须一致
meta-disk internal;
}
}
下面是干净配置
#include"drbd.d/global_common.conf";   
    #include "drbd.d/*.res";                
global {
usage-count no;
}
common {
syncer { rate 200M; }  
}
resource r0 {  
protocol C;
startup {
wfc-timeout 120;
degr-wfc-timeout 120;
}
disk {
on-io-error detach;
}
net{
timeout 60;
connect-int 10;
ping-int 10;
max-buffers 2048;
max-epoch-size 2048;
cram-hmac-alg "sha1";
shared-secret "Mysql-abcD";
}
on test02 {  
device /dev/drbd0;
disk   /dev/sdb;
address 192.168.1.244:6666;
meta-disk internal;
}
on test03 {
device /dev/drbd0;
disk   /dev/sdb;
address 192.168.1.245:6666;
meta-disk internal;
}
}

将以上文件复制一份到备用节点上

yum -y install openssh-clients

scp /usr/local/drbd-utils-8.9.2/etc/drbd.conf  192.168.1.245:/usr/local/drbd-utils-8.9.2/etc/

关机后在虚拟机中添加一块1G的磁盘，重新启动

格式化分区

mke2fs -t ext4 /dev/sdb

用dd写入点数据，不然可能会出错

dd if=/dev/zero of=/dev/sdb bs=1M count=1

drbdadm create-md r0

过程中会可能会出现应当问题，直接yes ，到最后出现下列信息表示成功

Newdrbd meta data block successfully created.

如果出现下列错误

‘r0‘ not defined in your config (for this host).检查是否设置hosts文件和配置文件主机名是否一致

Exclusive open failed. Do it anyways  检查是否已经打开drbd服务，先关闭

启动两台主机的drbd服务

/etc/rc.d/init.d/drbd start

查看节点的状态

/etc/rc.d/init.d/drbd status 或 cat /proc/drbd

最终同步后的状态：

version: 8.4.6 (api:1/proto:86-101)

GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@test03, 2015-06-04 01:00:28

m:res  cs            ro                 ds                 p  mounted  fstype

0:r0   WFConnection  Secondary/Secondary  UpToDate/UpToDate  C

cs：表示连接状态

ro: 表示主从关系 上面的表示都为从

ds：硬盘状态信息 上面表示已经实时同步中，Inconsistent：不一致

同步成功后两台主机会创建出设备/dev/drbd0

设置主从第一次执行

drbdadm-- --overwrite-data-of-peer primary all

0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate Cr-----

之后平时可以执行

drbdadm primary all

格式化/dev/drbd0

mke2fs-t ext4 /dev/drbd0

镜像创建完成

8.挂载并同步数据

挂载并同步测试

创建数据库目录

mkdir /data

在主节点上进行挂载

mount /dev/drbd0 /data

测试数据同步

在主节点创建目录

mkdir /data/mysql

ls -ld /data/mysql

drwxr-xr-x. 5 mysql mysql 4096 6月   7 03:19 /data/mysql

将主节点drbd的状态变为从

umount /data

drbdadm secondary all

在从节点上进行挂载

drbdadm primary all

mount/dev/drbd0 /data

ls -ld /data/mysql

drwxr-xr-x. 5 mysql mysql 4096 6月   7 03:19 /data/mysql

测试成功

二、源码安装mariadb数据库

useradd -s /sbin/nologin -M mysql
mkdir -p /data/mysql
chown -R mysql:mysql /data/mysql
yum install -y gcc gcc-c++ make cmake ncurses ncurses libxml2 libxml2-devel openssl-devel bison bison-devel ncurses-devel
wget http://mirrors.opencas.cn/mariadb/mariadb-galera-10.0.17/source/mariadb-galera-10.0.17.tar.gz
tar -zxf mariadb-galera-10.0.17.tar.gz
cd mariadb-10.0.17/
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/data/mysql -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STPRAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DWIYH_READLINE=1 -DWIYH_SSL=system -DVITH_ZLIB=system -DWITH_LOBWRAP=0 -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci
make && make install
cd /usr/local/mysql/
cp support-files/mysql.server /etc/rc.d/init.d/mysqld
chmod +x /etc/rc.d/init.d/mysqld
cp support-files/my-large.cnf /etc/my.cnf 
cp: overwrite `/etc/my.cnf‘? yes
scripts/mysql_install_db --user=mysql --datadir=/data/mysql/
service mysqld start
cat /etc/profile.d/mysqld.sh 
export PATH=$PATH:/usr/local/mysql/bin
source /etc/profile.d/mysqld.sh
mysql

三、通过Heartbeat实现高可用

1.安装heartbeat

yum -y install heartbeat

2.编辑配置文件

hearbeat配置文件目录为 /etc/ha.d/ 脚本存放目录:/etc/ha.d/resource.d/

cp/usr/share/doc/heartbeat-3.0.4/{authkeys,ha.cf,haresources} /etc/ha.d/

vi authkeys
auth 1
1 crc
vi haresources
添加下面这行
test02 IPaddr::192.168.1.100/24/eth0:0 drbddisk
vi ha.cf
debugfile /var/log/ha-debug
logfile/var/log/ha-log
logfacilitylocal0
keepalive 2
deadtime 30
warntime 10
initdead 60
udpport694
ucast eth0 192.168.1.245
auto_failback on
nodetest02
nodetest03
ping 192.168.1.1
respawn hacluster /usr/lib64/heartbeat/ipfail

编辑drbddisk随heartbeat启动的脚本

cat /etc/ha.d/resource.d/drbddisk 
#!/bin/bash
DRBDADM="/sbin/drbdadm"
RES=all
case "$CMD" in
start)
$DRBDADM primary $RES && `/bin/mount -t ext4 /dev/drbd0 /data` && `service mysql start`
;;
stop)
`service mysql stop` &&$DRBDADM secondary $RES &&`/bin/umount /data`
;;
*)
esac
exit 0

将这四个文件复制到从上的相应位置，只需要修改ha.cf文件中的ucast eth0 192.168.1.244就可以了

3.启动heartbeat服务检测服务是否正常工作

service heartbeat start

通过连接192.168.1.100的数据库看是否能够正常连接，测试连接状态这里就不进行详述了。

至此，使用DRBD+MariaDB+Heartbeat实现数据库集群高可用的实验完成了。

本文出自 “柠檬” 博客，请务必保留此出处http://xianglinhu.blog.51cto.com/5787032/1659415