MHA高可用
1.MHA高可用简介
1.MHA高可用作用
1.monitor node 监控节点
(1) 监控所有节点,重点是master
(2) 监控到master宕机(实例(ssh能),主机(ssh不能连))
2.failover 故障转移
(3) 数据补偿1:如果ssh能连,从节点立即保存自己缺失部分的二进制日志
(4) 选主:对比各节点的GTID号码即可,选一个最接近于主库数据的从节点(并将从库接触身份 stop slave reset slave all)
(5) 数据补偿2:如果ssh不能连,计算两个从库的relaylog的差异,恢复到数据少的从库中.
(6) 2号从库change master to 到 新主,开启新的主从关系
3.应用透明
(7) 使用vip机制实现应用透明
4.补充功能
(8) 自动修复主库(加入集群)待开发...
(9) 二次数据补偿的问题 (binlog server)
(10) 提醒功能(send_report)
(11) 权重的问题
2.架构介绍:
1主2从 (master：db01 slave：db02 db03)：
- MHA 高可用方案软件构成
Manager软件：选择一个从节点安装
Node软件：所有节点都要安装
3.MHA manager的工作过程
(1) Manger要能够监控到所有node节点通信(ip ssh,root用户 ),以及数据库实例及主从状态,需要有一个专门数据库用户(mha)
(2) 主库宕机
2.1 如果ssh能连的话,会立即将从节点缺失部分的二进制日志保存下来(/tmp)
2.1 选择一个新的主库做为代替原主库工作(原则上是选择最接近主库数据状态的从库)
mysql -e "show slave status \G" |grep Gtid
Retrieved_Gtid_Set: 71bfa52e-4aae-11e9-ab8c-000c293b577e:1-5
Executed_Gtid_Set: 71bfa52e-4aae-11e9-ab8c-000c293b577e:1-5
注意: 在默认情况,如果说两个从库数据时一致,安装配置文件顺序进行切换,如果有权重设置的话,会按照权重进行选主
2.2 如果SSH不到主库，计算两个从库之间的relay-log的差异，恢复到S2中
说明: 在计算差异时,如果选取了GTID复制,会简化relaylog差异计算步骤
减少额外资源的耗损,可以很大程度优化MHA切换过程
2.3自动把主库剔除集群,并且从配置文件中将节点信息清空
(3) S2使用 Change master to S1 重新构建主从
(4) MHA提供了额外的开发接口，和调用方式。
VIP
Mail
binlogserver
(5) 这个切换过程完成之后，Manager会立即退出，需要管理员，恢复所有节点正常后，再次启动才可以继续工作。
4.MHA软件构成
Manager工具包主要包括以下几个工具：
masterha_manger 启动MHA
masterha_check_ssh 检查MHA的SSH配置状况
masterha_check_repl 检查MySQL复制状况
masterha_master_monitor 检测master是否宕机
masterha_check_status 检测当前MHA运行状态
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的server信息
Node工具包（这些工具通常由MHA Manager的脚本触发，无需人为操作）主要包括以下几个工具：
save_binary_logs 保存和复制master的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的
purge_relay_logs 清除中继日志（不会阻塞SQL线程）
2.MHA环境搭建
(1)规划:
主库: 51:node
从库:52:node 53:node manager
(2) 准备环境（略。1主2从GTID）
(3) 配置关键程序软连接
ln -s /app/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /app/mysql/bin/mysql /usr/bin/mysql
(4) 配置各节点互信
db01：
rm -rf /root/.ssh
ssh-keygen
cd /root/.ssh
mv id_rsa.pub authorized_keys
ssh-copy-id -i id_rsa.pub 10.0.0.52:/root
ssh-copy-id -i id_rsa.pub 10.0.0.53:/root
各节点验证：
db01:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
db02:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
db03:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
5)安装软件
（0）
下载mha软件，mha官网：https://code.google.com/archive/p/mysql-master-ha/
github下载地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads
（1）上传MHA.zip到所有节点的/server/tools中，并解压
（2）安装Node软件依赖包
#安装依赖包
yum install perl-DBD-MySQL -y
或者 yum localinstall xxxxx.rpm
（3）所有节点安装node软件
mha4mysql-node-0.56-0.el6.noarch.rpm
(6)在db01主库中创建mha需要的用户
grant all privileges on . to mha@'10.0.0.%' identified by 'mha';
(7) Manager软件安装（db03）
#安装manager依赖包
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
#安装manager包
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
(8) 配置文件准备(db03)
#创建配置文件目录
mkdir -p /etc/mha
#创建日志目录
mkdir -p /var/log/mha/app1
#编辑mha配置文件
vim /etc/mha/app1.cnf
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/binlog
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root
[server1]
hostname=10.0.0.51
port=3306
[server2]
hostname=10.0.0.52
port=3306
[server3]
hostname=10.0.0.53
port=3306
(9) 状态检查
（1） 互信检查
masterha_check_ssh --conf=/etc/mha/app1.cnf
（2）主从状态
masterha_check_repl --conf=/etc/mha/app1.cnf
(10) 开启MHA：
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
(11) 查看MHA状态：
masterha_check_status --conf=/etc/mha/app1.cnf
mysql -umha -pmha -h 10.0.0.51 -e "show variables like 'server_id'"
mysql -umha -pmha -h 10.0.0.52 -e "show variables like 'server_id'"
mysql -umha -pmha -h 10.0.0.53 -e "show variables like 'server_id'"
(12)故障模拟及处理
（1）db01:
停主库：/etc/init.d/mysqld stop
观察manager 日志 tail -f /var/log/mha/app1/manager
末尾必须显示successfully，才算正常切换成功。
(2) 修复主库
[root@db01 ~]# /etc/init.d/mysqld start
(3) 恢复主从结构
CHANGE MASTER TO
MASTER_HOST='10.0.0.51',
MASTER_PORT=3306,
MASTER_AUTO_POSITION=1,
MASTER_USER='repl',
MASTER_PASSWORD='123';
start slave ;
(4) 修改配置文件
[server1]
hostname=10.0.0.51
port=3306
(5) 启动MHA
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
(13) Manager额外参数介绍
(1) ping_interval=1
#设置监控主库，发送ping包的时间间隔，尝试三次没有回应的时候自动进行failover
(2) candidate_master=1
#设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，
即使这个主库不是集群中事件最新的slave
(3)check_repl_delay=0
#默认情况下如果一个slave落后master 100M的relay logs的话，
MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，
通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，
这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master
3.MHA 的vip功能
外部的脚本的调用接口
1.参数：
master_ip_failover_script=/usr/local/bin/master_ip_failover
2.注意：/usr/local/bin/master_ip_failover，必须事先准备好此脚本
3.将script.tar.gz 文件上传到/usr/local/bin，并解压
4.修改脚本内容：
[root@db03 bin]# vim master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
my $vip = '10.10.40.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);
exit &main();
sub main {
print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
return 0 unless ($ssh_user);
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}
5.更改manager配置文件：
vi /etc/mha/app1.cnf
添加：
master_ip_failover_script=/usr/local/bin/master_ip_failover
6.主库上，手工生成第一个vip地址
手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)
ifconfig eth0:1 10.0.0.55/24
7.重启mha
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
4.邮件提醒
1.参数：
report_script=/usr/local/bin/send
2.准备邮件脚本
send_report
(1)准备发邮件的脚本(我们已经为大家准备好了script.tar.gz)
将以上脚本解压到 /usr/local/bin
(2)将准备好的脚本添加到mha配置文件中,让其调用
15.3 修改manager配置文件，调用邮件脚本
vi /etc/mha/app1.cnf
report_script=/usr/local/bin/send
（3）停止MHA
masterha_stop --conf=/etc/mha/app1.cnf
（4）开启MHA
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
(5) 关闭主库,看警告邮件
change master to master_host='10.0.0.51',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;
如果邮件发送失败：
#安装依赖
[root@db03 bin]#yum install -y perl-IO*
5.故障修复
- 恢复故障节点
（1）实例宕掉
/etc/init.d/mysqld start
（2）主机损坏，有可能数据也损坏了
备份并恢复故障节点。
2.恢复主从环境
2.1看日志文件：
CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';
start slave ;
3.恢复manager
3.1 修好的故障节点配置信息，加入到配置文件
[server1]
hostname=10.0.0.51
port=3306
3.2 启动manager
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
6.binlog server（db03）
6.1 参数：
binlogserver配置：
找一台额外的机器，必须要有5.6以上的版本，支持gtid并开启，我们直接用的第二个slave（db03）
vim /etc/mha/app1.cnf
[binlog1]
no_master=1
hostname=10.0.0.53
master_binlog_dir=/data/mysql/binlog
6.2创建必要目录
提前创建好,这个目录不能和原有的binlog一致
mkdir -p /data/mysql/binlog
chown -R mysql.mysql /data/*
修改完成后，将主库binlog拉过来（从000001开始拉，之后的binlog会自动按顺序过来）
6.3拉取主库binlog日志
cd /data/mysql/binlog -----》必须进入到自己创建好的目录
mysqlbinlog -R --host=10.0.0.52 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &
注意：
binlog拉取和mha本身没啥关系，但是mha配置文件中加入了binlogserver，必须mha启动之前要去配置执行，否则mha起不来
6.4重启MHA
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
6.5故障处理
主库宕机，binlogserver 自动停掉，manager 也会自动停止。
处理思路：
- 1、重新获取新主库的binlog到binlogserver中
- 2、重新配置文件binlog server信息
- 3、最后再启动MHA
本章rpm包以及依赖下载地址：
链接：https://pan.baidu.com/s/1zGTcPToliFP97xSbGmKTqA
提取码：rqdr
复制这段内容后打开百度网盘手机App，操作更方便哦