MySQL 中存储着 Hive 所有表格的元数据信息,一旦 MySQL 中的数据失落或损坏,会对整个数据仓库零碎造成不可挽回的损失,为防止这种状况的产生,咱们能够抉择每天对元数据进行备份,进而实现 MySQL HA(High Availability 高可用)。
MySQL 全套视频学习材料:http://www.atguigu.com/download.shtml
MySQL 的 HA 计划不止一种,本文介绍较为罕用的一种——基于 keepalived 的 MySQL HA。
MySQL 的 HA 离不开其主从复制的技术。主从复制是指一台服务器充当主数据库服务器(master),另一台或多台服务器充当从数据库服务器(slave),从服务器(slave)主动向主服务器(master)同步数据。实现 MySQL 的 HA,需使两台服务器互为主从关系。
Keepalived 是基于 VRRP(Virtual Router Redundancy Protocol,虚构路由器冗余协定)协定的一款高可用软件。Keepailived 有一台主服务器(master)和多台备份服务器(backup),在主服务器和备份服务器下面部署雷同的服务配置,应用一个虚构 IP 地址对外提供服务,当主服务器呈现故障时,虚构 IP 地址会主动漂移到备份服务器。
具体操作如下:
MySQL 一主一从配置
集群布局,如表 1 所示
表 1 一主一从集群布局
hadoop102
hadoop103
hadoop104
MySQL(master)
MySQL(slave)
留神:MySQL 的装置参考 5.1.2
配置 master
批改 hadoop103 中 MySQL 的 /usr/my.cnf 配置文件。
[mysqld]
开启 binlog
log_bin = mysql-bin
binlog 日志类型
binlog_format = row
MySQL 服务器惟一 id
server_id = 1
重启 hadoop103 的 MySQL 服务
[atguigu@hadoop103 ~]$ sudo service mysql restart
进入 MySQL 客户端,执行以下命令,查看 master 状态,如图 1 所示
MySQL 高可用配置
图 1 MySQL 客户端查看 master 状态
配置 slave
批改 hadoop104 中 MySQL 的 /usr/my.cnf 配置文件
[mysqld]
MySQL 服务器惟一 id
server_id = 2
开启 slave 中继日志
relay_log=mysql-relay
重启 hadoop104 的 MySQL 服务
[atguigu@hadoop104 ~]$ sudo service mysql restart
进入 hadoop104 的 mysql 客户端
执行以下命令
mysql>
CHANGE MASTER TO
MASTER_HOST=’hadoop103′,
MASTER_USER=’root’,
MASTER_PASSWORD=’123456′,
MASTER_LOG_FILE=’mysql-bin.000001′,
MASTER_LOG_POS=120;
启动 slave
mysql> start slave;
查看 slave 状态,如图 2 所示
MySQL 高可用配置
图 2 MySQL 客户端查看 slave 状态
MySQL 双主配置
集群布局,如表 2 所示。
表 2 双主集群布局
hadoop102
hadoop103
hadoop104
MySQL(master,slave)
MySQL(slave,master)
留神:MySQL 的装置参考 5.1.2
配置 master
批改 hadoop104 中 MySQL 的 /usr/my.cnf 配置文件。
[mysqld]
开启 binlog
log_bin = mysql-bin
binlog 日志类型
binlog_format = row
MySQL 服务器惟一 id
server_id = 2
开启 slave 中继日志
relay_log=mysql-relay
重启 hadoop104 的 MySQL 服务
[atguigu@hadoop104 ~]$ sudo service mysql restart
进入 hadoop104 的 MySQL 客户端,执行以下命令,查看 master 状态,如图 3 所示。
MySQL 高可用配置
图 3 查看 MySQL 客户端 master 状态
配置 slave
批改 hadoop103 中 MySQL 的 /usr/my.cnf 配置文件
[mysqld]
MySQL 服务器惟一 id
server_id = 1
开启 binlog
log_bin = mysql-bin
binlog 日志类型
binlog_format = row
开启 slave 中继日志
relay_log=mysql-relay
重启 hadoop103 的 MySQL 服务
[atguigu@hadoop103 ~]$ sudo service mysql restart
进入 hadoop103 的 mysql 客户端
执行以下命令
mysql>
CHANGE MASTER TO
MASTER_HOST=’hadoop104′,
MASTER_USER=’root’,
MASTER_PASSWORD=’123456′,
MASTER_LOG_FILE=’mysql-bin.000001′,
MASTER_LOG_POS=120;
启动 slave
mysql> start slave;
查看 slave 状态,如图 4 所示
MySQL 高可用配置
图 4 MySQL 客户端查看 slave 状态
Keepalived 装置部署
Keepalived 须要装置部署在 hadoop103 和 hadoop104 两个节点上,具体操作如下:
hadoop103 装置部署
(1)通过 yum 形式装置 Keepalived
sudo yum install -y keepalived
(2)批改 Keepalived 配置文件
/etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id MySQL-ha
}
vrrp_instance VI_1 {
state master #初始状态
interface eth0 #网卡
virtual_router_id 51 #虚构路由 id
priority 100 #优先级
advert_int 1 #Keepalived 心跳距离
nopreempt #只在高优先级配置,原 master 复原之后不从新上位
authentication {
auth_type PASS #认证相干
auth_pass 1111
}
virtual_ipaddress {
192.168.1.100 #虚构 ip
}
}
申明虚构服务器
virtual_server 192.168.1.100 3306 {
delay_loop 6
persistence_timeout 30
protocol TCP
申明实在服务器
real_server 192.168.1.103 3306 {
notify_down
/var/lib/mysql/killkeepalived.sh #实在服务故障后调用脚本
TCP_CHECK {
connect_timeout 3 #超时工夫
nb_get_retry 1 #重试次数
delay_before_retry 1 #重试工夫距离
}
}
}
(3)编辑脚本文件
/var/lib/mysql/killkeepalived.sh
! /bin/bash
sudo service keepalived stop
(4)加执行权限
sudo chmod +x /var/lib/mysql/killkeepalived.sh
(5)启动 Keepalived 服务
sudo service keepalived start
(6)设置 Keepalived 服务开机自启
sudo chkconfig keepalived on
hadoop104 装置部署
(1)通过 yum 形式装置 Keepalived
sudo yum install -y keepalived
(2)批改 Keepalived 配置文件
/etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id MySQL-ha
}
vrrp_instance VI_1 {
state master #初始状态
interface eth0 #网卡
virtual_router_id 51 #虚构路由 id
priority 100 #优先级
advert_int 1 #Keepalived 心跳距离
authentication {
auth_type PASS #认证相干
auth_pass 1111
}
virtual_ipaddress {
192.168.1.100 #虚构 ip
}
}
申明虚构服务器
virtual_server 192.168.1.100 3306 {
delay_loop 6
persistence_timeout 30
protocol TCP
申明实在服务器
real_server 192.168.1.104 3306 {
notify_down
/var/lib/mysql/killkeepalived.sh #实在服务故障后调用脚本
TCP_CHECK {
connect_timeout 3 #超时工夫
nb_get_retry 1 #重试次数
delay_before_retry 1 #重试工夫距离
}
}
}
(3)编辑脚本文件
/var/lib/mysql/killkeepalived.sh
! /bin/bash
sudo service keepalived stop
(4)加执行权限
sudo chmod +x /var/lib/mysql/killkeepalived.sh
(5)启动 Keepalived 服务
sudo service keepalived start
(6)设置 Keepalived 服务开机自启
sudo chkconfig keepalived on
确保开机时 MySQL 先于 Keepalived 启动 (hadoop103、hadoop104 均需作如下操作)
第一步:查看 MySQL 启动秩序
sudo vim /etc/init.d/mysql
MySQL 高可用配置
图 5 查看 MySQL 开机启动秩序
第二步:查看 Keepalived 启动秩序
sudo vim /etc/init.d/keepalived
MySQL 高可用配置
图 6 查看 keepalived 开机启动秩序
第三步:若 Keepalived 先于 MySQL 启动,则须要依照以下步骤设置二者启动程序
a. 批改 /etc/init.d/mysql
sudo vim /etc/init.d/mysql
MySQL 高可用配置
图 7 批改 MySQL 开机启动秩序
b. 从新设置 mysql 开机自启
sudo chkconfig –del mysql
sudo chkconfig –add mysql
sudo chkconfig mysql on
c. 批改 /etc/init.d/keepalived
sudo vim /etc/init.d/keepalived
MySQL 高可用配置
图 8 批改 keepalived 开机启动秩序
d. 从新设置 keepalived 开机自启
sudo chkconfig –del keepalived
sudo chkconfig –add keepalived
sudo chkconfig keepalived on
关键词:大数据培训