最近尝试了一下mysql的读写分离和高可用的搭建。搭好之后体验了一下,效果还不错。这里跟大家分享一下。1、首先介绍一下mysql-mmm这个工具是干嘛使的?众所周知.
最近尝试了一下mysql的读写分离和高可用的搭建。搭好之后体验了一下,效果还不错。这里跟大家分享一下。
1、首先介绍一下mysql-mmm这个工具是干嘛使的?
众所周知,mysql自身提供了ab复制。我们也可以很轻松的实现master-master双向复制,同时再为其中的一个master节点搭建一个slave库。这样就实现了master1与master2之间的双向复制,同时master1与slave1之间主从复制这样的架构。这样整个体系中就存在两个master,正常情况下只有一个master对外提供服务。如果对外提供服务的master意外宕机了,这时mysql本身并不具备failover切换的能力,这样尽管系统中还有一个正常的master节点,但应用仍不可用,这个正常的master尽管存在,但无疑是个摆设。mysql-mmm就是在这样的条件下诞生的。
mysql-mmm是master-master replication manager for mysql(mysql主主复制管理器)的简称,该项目来自于google,旨在用来监控mysql主主复制和做失败转移。其原理是将真实数据库节点的ip映射为虚拟ip集,在这个虚拟的ip集中,有一个用于write的ip,多个用于read的ip,这个用于write的虚拟ip映射着数据库集群中的两台master的真实ip,,以此来实现failover的切换,如果觉得不是很明白,没有关系,后边具体配置部分还会再做说明。
mysql-mmm是一个开源的项目,官网:
2、接着来说amoeba是个什么物件?
可能您听说过mysql-proxy,这个mysql官方维护的一个实现mysql读写分离的工具,曾经测试使用过,但没有在生产中使用。网上大家讨论比较多的是mysql-proxy的配置比较麻烦,其实不是的,单说mysql-proxy的配置的话是比较简单的,不比amoeba麻烦多少,主要是mysql-proxy自身不带有启动脚本,如果你想实现像mysql服务那样的启动方式就需要自己来编写服务脚本。这里实现mysql读写分离,使用淘宝开源出来的amoeba,amoeba是用java开发出来的一款软件,其配置文件为xml格式。选择amoeba是因为amoeba是淘宝在生产环境中使用过的,经过实践测试的,相比mysql-proxy来说,风险性要小一些。
3、最后来说keepalived
keeplived是用来实现服务的高可用的一款优秀的工具,需要说明的是keepalived会为代理的服务虚拟一个ip,用于外部访问,正常情况下,这个虚拟ip是绑定在master上的。master通过脚本来周期性判断服务是否正常运行,如果发现服务异常,就会停掉keepalived服务,这时原本绑定在master上的虚拟ip就会浮动到backup上,由于这个虚拟ip仍然存在,所以外部仍旧可以访问这个服务。
实验环境:
hadoop0.updb.com 192.168.0.100
hadoop1.updb.com 192.168.0.101
hadoop2.updb.com 192.168.0.102
hadoop3.updb.com 192.168.0.103
hadoop4.updb.com 192.168.0.104
hadoop5.updb.com 192.168.0.105
mysql 5.6
所有节点的系统均为centos,使用自带网络yum源,扩展epel源,保证你的各节点均能访问公网,因为我们的mysql-mmm和keepalived均使用epel源进行网络安装。
最终架构:
为了尽可能简洁而清楚的表达,上图中并没有显示mysql-mmm的部署规划。mysql-mmm分为monitor端和agent端,实验中在所有的mysql节点(192.168.0.102-192.168.0.105)上安装agent端,在192.168.0.101上安装monitor端。
好了,到这里相信你的心中已经有了丘壑,下面我们将一步一步来实现
1、搭建mysql集群,基本的mysql安装这里不再介绍(这里主主复制、主从复制的搭建是在全新安装的数据库的基础上,所以在设置同步参数时,binlog为mysql-bin.000001)
a、mysql 主主复制
首先停掉hadoop2、hadoop3上的mysql服务,修改配置文件,hadoop2配置如下:
[root@hadoop2 ~]# cat /etc/my.cnf [mysqld]server-id=1log-bin=mysql-bin.logsync_binlog=1log-slave-updatesinnodb_buffer_pool_size = 512minnodb_flush_log_at_trx_commit=1sql_mode=strict_trans_tables,no_auto_create_user,no_engine_substitution,no_auto_value_on_zerolower_case_table_names=1log_bin_trust_function_creators=1character-set-server=utf8[mysql]default-character-set=utf8 hadoop3配置文件,注意server-id不能重
[root@hadoop3 ~]# cat /etc/my.cnf [mysqld]server-id=2log-bin=mysql-bin.logsync_binlog=1log-slave-updatesinnodb_buffer_pool_size = 512minnodb_flush_log_at_trx_commit=1sql_mode=strict_trans_tables,no_auto_create_user,no_engine_substitution,no_auto_value_on_zerolower_case_table_names=1log_bin_trust_function_creators=1character-set-server=utf8[mysql]default-character-set=utf8 重启hadoop2、hadoop3上的mysql服务
hadoop2、hadoop3上都执行添加同步用户的操作
mysql> grant replication slave on *.* to 'rep'@'192.168.0.%' identified by '123456'; hadoop3上设置同步参数
mysql> change master to > master_host='192.168.0.102', > master_port=3306, > master_user='rep', > master_password='123456', > master_log_file='mysql-bin.000001', > master_log_pos=107;