Mysql集群与调优
Mysql集群与调优
实验背景:
1.安装MySQL-Cluster相关软件包。
2.依次配置管理/数据/SQL节点。
3.启动并测试MySQL-Cluster集群架构。
实验方案:
使用6台RHEL 6.4虚拟机,其中sqlA和sqlB作为SQL节点,ndbA和ndbB作为数据节点,
mgmd作为管理节点,这5个节点构成MySQL Cluster体系;而另一台虚拟机192.168.4.20作为MySQL测试客户机。
构成MySQL集群体系的5个节点应安装Cluster版的MySQL相关软件包,具体操作见“实现”部分的安排;测试用的Linux客户机只需安装普通版的MySQL-client即可。
实验实现:
1.前期准备工作
1)确认各节点服务器的主机名、IP地址
为5个节点建立统一的hosts文件,提高本地解析速度,相关操作如下:
[root@sqlA ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
.. ..
192.168.4.10 sqlA.tarena.com sqlA
192.168.4.20 sqlB.tarena.com sqlB
192.168.4.30 ndbA.tarena.com ndbA
192.168.4.40 ndbB.tarena.com ndbB
192.168.4.100 mgmsvr.tarena.com mgmsvr
参考上述hosts文件为各节点设置好主机名、IP地址(具体过程略)。
卸载冲突包【所有节点】
官方提供的MySQL-Cluster相关软件包已集成数据库服务端/客户端程序,因此可直接用
来替换普通的MySQL服务端/客户端程序。如果已安装有普通版的mysql-server、mysql、
MySQL-server、MySQL-client包,请先将其卸载(若没有则忽略):
[root@sqlA ~]# yum -y remove mysql-server mysql
Setting up Remove Process
对于RHEL自带的mysql-libs暂时保留(如果直接卸载会因为依赖关系删除许多重要的包
,比如crontab、postfix等),但在安装MySQl-Cluster相关包的时候采用“-U”升级的
方式执行替换。
如果有残留的/etc/my.cnf文件,确保已转移备用或直接删除。
[root@sqlA ~]# mv /etc/my.cnf /etc/my.cnf.old
3)安装MySQL-Cluster相关软件包【所有节点】
在所有节点上,解压下载的MySQL-Cluster集合包:
[root@sqlA ~]# cd /var/ftp/pub/
[root@sqlA pub]# tar xvf MySQL-Cluster-gpl-7.3.3-1.el6.x86_64.rpm-bundle.tar
MySQL-Cluster-shared-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-shared-compat-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-server-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-client-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-test-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-devel-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-embedded-gpl-7.3.3-1.el6.x86_64.rpm
在所有节点上,安装MySQL-Cluster-server、MySQL-Cluster-client软件包:
[root@sqlA pub]# rpm -Uvh MySQL-Cluster-shared-*.rpm
在SQL节点(sqlA、sqlB)服务器上,修改MySQL数据库的root密码:
[root@sqlA ~]# cat /root/.mysql_secret
# The random password set for the root user at Tue Dec 24 15:24:50 2013 (local time): Z3Qw2OWJ //查看默认的密码
[root@sqlA ~]# service mysql start //启动MySQL服务程序
Starting MySQL... [确定]
[root@sqlA ~]# mysql –u root –p //以上述默认密码登录
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
mysql> SET PASSWORD FOR ‘root‘@‘localhost‘=PASSWORD(‘1234567‘);
Query OK, 0 rows affected (0.10 sec) //重设root口令
在数据节点(ndbA、ndbB)和管理节点(mgmsvr)上,实际上并不需要启动MySQL服务程序
,因此建议将mysql服务的自启状态设为关闭,root密码可改可不改:
[root@ndbA ~]# chkconfig mysql off
[root@ndbA ~]# chkconfig --list mysql
mysql 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭
4)添加授权数据库用户【SQL节点】
在SQL节点(sqlA、sqlB)服务器上,添加相应的授权数据库用户,以方便客户端使用数据
库服务。以用户root为例,允许其从192.168.4.0/24网段访问:
mysql> GRANT all ON *.* TO ‘root‘@‘192.168.4.%‘ IDENTIFIED BY ‘1234567‘;
Query OK, 0 rows affected (0.10 sec) //授权用户及客户机
mysql> exit //退出 mysql> 环境
Bye
2.配置管理节点 mgmd (192.168.4.100)
1)创建工作文件夹
为管理节点提供一个工作目录,方便记录MySQL集群相关的日志消息:
[root@mgmsvr ~]# mkdir -p /var/log/mysql-cluster
2)创建配置文件
针对本节的案例,管理节点的配置操作参考如下:
[root@mgmsvr ~]# vim /etc/my-cluster.ini
[ndbd default]
NoOfReplicas=2 //保留2份数据拷贝
DataMemory=80M //数据缓存大小
IndexMemory=18M //索引缓存大小
[ndb_mgmd]
nodeid=1 //第1个管理节点的ID号
hostname=192.168.4.100 //此管理节点的地址
datadir=/var/log/mysql-cluster //此管理节点的工作目录
[mysqld]
nodeid=10 //第1个SQL节点的ID号
hostname=192.168.4.10 //第1个SQL节点的地址
[mysqld]
nodeid=20 //第2个SQL节点的ID号
hostname=192.168.4.20 //第2个SQL节点的地址
[ndbd]
nodeid=30 //第1个数据节点的ID号
hostname=192.168.4.30 //第1个数据节点的地址
datadir=/var/lib/mysql-cluster/data //第1个数据节点的工作目录
[ndbd]
nodeid=40 //第2个数据节点的ID号
hostname=192.168.4.40 //第2个数据节点的地址
datadir=/var/lib/mysql-cluster/data //第2个数据节点的工作目录
3.配置数据节点 ndbA(192.168.4.30) 、ndbB (192.168.4.40)
1)创建工作文件夹
为各数据节点提供一个工作目录,用来存放实际的数据库表记录等相关数据:
1.[root@ndbA ~]# mkdir -p /var/lib/mysql-cluster/data
2)创建配置文件
指定工作目录(数据存储目录)、管理服务器的IP地址、采用ndbcluster存储引擎,以
便支持集群特性;并添加[mysql_cluster]配置段,同样指定管理地址。
针对本节的案例,2个数据节点的配置操作参考如下:
[root@ndbA ~]# vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql-cluster/ndbdata //指定数据存储目录
ndb-connectstring=192.168.4.100 //要连接的管理服务器的IP地址
ndbcluster //指定运行的存储引擎
[mysql_cluster] //集群连接配置段
ndb-connectstring=192.168.4.100
4.配置SQL节点sqlA(192.168.4.10) 、sqlB (192.168.4.20)
主要是调整my.cnf配置,指定运行的存储引擎、默认存储引擎,并通过[mysql_cluster]配置段指定管理地址。在MySQL-Cluster集群环境中,若某个数据库未采用ndbcluster引擎(而是InnoDB、MyISAM等其他引擎),则当更新数据库表时,可能无法同步到其他节点。
[root@sqlA ~]# vim /etc/my.cnf
[mysqld]
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
explicit_defaults_for_timestamp=1
.. ..
ndbcluster //指定运行的存储引擎
default-storage-engine=ndbcluster //设置默认存储引擎
[mysql_cluster] //集群连接配置段
ndb-connectstring=192.168.4.100
5.启动MySQL集群
正确的启动顺序:管理节点 --> 数据节点 --> SQL节点。
关闭顺序:SQL节点 --> 数据节点 --> 管理节点。
数据节点、SQL节点都正常运行后,理论上管理节点可关闭(无监控等任务的话)。
1)启动管理节点mgmd
MySQL Cluster管理节点的对应服务程序为ndb_mgmd,通过选项-f指定建立的集群配置文件。
[root@mgmsvr ~]# ndb_mgmd -f /etc/my-cluster.ini //启动管理节点,-f 指定配置文件路径
若希望每次开机后自动运行ndb_mgmd,可将上述启动操作写入到/etc/rc.local配置文件内,例如:
[root@mgmsvr ~]# vim /etc/rc.local
.. ..
ndb_mgmd -f /etc/my-cluster.ini
启动完成后可查看监听状态:
[root@mgmsvr ~]# netstat -anpt | grep ndb
tcp 0 0 0.0.0.0:1186 0.0.0.0:* LISTEN 4656/ndb_mgmd
tcp 0 0 127.0.0.1:1186 127.0.0.1:38567 ESTABLISHED 4656/ndb_mgmd
tcp 0 0 127.0.0.1:38567 127.0.0.1:1186 ESTABLISHED 4656/ndb_mgmd
查看日志文件相关数据:
[root@mgmsvr ~]# ls /var/log/mysql-cluster/
ndb_1_cluster.log ndb_1_out.log ndb_1.pid
2)启动数据节点ndbA、ndbB
MySQL Cluster数据节点的对应服务程序为ndbd(单线程的)、ndbmtd(多线程的),首次启动或重新初始化时加 --initial选项,以后不用加。
启动ndbA:
[root@ndbA ~]# ndbd --initial //启动数据节点
.2013-12-24 17:55:55 [ndbd] INFO -- Angel connected to ‘192.168.4.100:1186‘
2013-12-24 17:55:55 [ndbd] INFO -- Angel allocated nodeid: 30
启动ndbB:
[root@ndbA ~]# ndbd --initial //启动数据节点
2013-12-24 17:55:55 [ndbd] INFO -- Angel connected to ‘192.168.4.100:1186‘
2013-12-24 17:55:55 [ndbd] INFO -- Angel allocated nodeid: 40
在ndbA和ndbB服务器上,修改/etc/rc.local配置文件,以便每次开机后能自动启动数据节点服务:
[root@ndbA ~]# vim /etc/rc.local
.. ..
ndbd
3)启动SQL节点sqlA、sqlB
对于MySQL Cluster的SQL节点来说,对应的服务程序就是mysqld,正常通过mysql脚本重新启动服务就可以了。
启动sqlA:
[root@sqlA ~]# service mysql restart
.Shutting down MySQL..... [确定]
Starting MySQL.... [确定]
启动sqlB:
[root@sqlB ~]# service mysql restart
Shutting down MySQL..... [确定]
Starting MySQL.... [确定]
在sqlA和sqlB服务器上,建议将mysql服务的自动状态设为“启用”:
[root@sqlA ~]# chkconfig mysql on
[root@sqlA ~]# chkconfig --list mysql
mysql 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
成功启动后,可在本机登入mysql>环境,检查默认的存储引擎,确保已支持ndbcluster且作为默认存储引擎:
[root@sqlA ~]# mysql -u root -p
Enter password:
.. ..
mysql> SHOW ENGINES\G
*************************** 1. row ***************************
Engine: ndbcluster //已支持NDB集群存储
Support: DEFAULT //且已作为默认
Comment: Clustered, fault-tolerant tables
Transactions: YES
XA: NO
Savepoints: NO
*************************** 2. row ***************************
... ...
4)在管理节点mgmd上查看群集状态
直接执行ndb_mgm可进入群集管理环境:
[root@mgmsvr ~]# ndb_mgm //进入集群管理环境
-- NDB Cluster -- Management Client --
ndb_mgm>
进入ndb_mgm> 环境后,执行SHOW可查看当前各节点的状态,确保本例中的5个节点都已经成功连接;
ndb_mgm> SHOW //查看管理状态
Connected to Management Server at: localhost:1186
.Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s) //两个数据节点
id=30 @192.168.4.30 (mysql-5.6.14 ndb-7.3.3, Nodegroup: 0, *)
id=40 @192.168.4.40 (mysql-5.6.14 ndb-7.3.3, Nodegroup: 0)
[ndb_mgmd(MGM)] 1 node(s) //一个数据节点
id=1 @192.168.4.100 (mysql-5.6.14 ndb-7.3.3)
[mysqld(API)] 2 node(s) //两个SQL节点
id=10 @192.168.4.10 (mysql-5.6.14 ndb-7.3.3)
id=20 @192.168.4.20 (mysql-5.6.14 ndb-7.3.3)
ndb_mgm>
6.MySQL集群的高可用性测试
1)数据同步测试
从客户机访问sqlA,执行写数据库、表相关操作:
然后从客户机访问sqlB,确认结果(能看到从sqlA上所建的库、表、表记录):
反过来从sqlB上所作的数据库表操作,从sqlA上也能获得相同的结果。
2)高可用性测试(关闭一台数据节点)
关闭数据节点ndbA上的ndbd进程:
[root@ndbA ~]# killall -9 ndbd //暴力结束ndbd进程
[root@ndbA ~]# netstat -anpt | grep ndbd //确认已结束
此时从管理节点上查看集群状态,会发现ndbA已断开连接:
ndb_mgm> show
然后从客户机访问sqlA或sqlB,仍然可读、写数据库。比如可向mydb.mytb表中再添加一条记录:
以上测试成立说明:只要还有一台数据节点可用,MYSQL数据库整体就仍然可用。
实验总结:
1、实验开始之前的环境准备不要忘记卸载冲突包
2、在管理节点的ini配置文件中,应涵盖所有节点的设置,主要包括各节点的ID号、主机
名或IP地址、工作目录等信息。相关配置区段的作用如下:
?[ndbd default]:为所有的数据节点指定默认配置。
?[ndbd]:指定某一个数据节点的配置。
?[ndb_mgmd default]:为所有的管理节点指定默认配置。
?[ndb_mgmd]:指定某一个管理节点的配置。
?[mysqld default]:为所有的SQL节点指定默认配置。
?[mysqld]:指定某一个SQL节点的配置。
3、关于管理节点的启动,有以下几个需要注意的地方:
?ndb_mgmd默认以后台模式运行(--daemon),调试过程中可添加选项--nodaemon来禁用后台模式。
?ndb_mgmd初次启动成功以后,会自动保存集群配置,以后再启动时会忽略-f指定的配置文件,除非添加--inital选项(比如向集群中添加新的节点时,就应该重新初始化)。
4、
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。