1.什么是HA？
所谓HA，也就是高可用，放在理论经营中，那就是7*24小时不间断服务。
那么实现HA，最要害的中央的就是打消单点故障，那什么是单点故障，就没有可代替的节点，一旦这个节点挂了，那整个服务也跟着瘫痪，直到该节点复原。
2.Hadoop HA
Hadoop为什么须要HA呢？
因为存在单点故障，HDFS上的NameNode，这就是一个单点故障，它只存在一个，如果NameNode挂了，或者咱们须要对这个节点降级更新，那么会导致集群不可用，
2.0版本之后，还有Yarn也是，ResourceManager也只有一个，也是单点故障。
所以Hadoop须要HA，而且咱们要实现两个中央的HA，HDFS的HA和Yarn的HA。
3.利用Zookeeper的实现Hadoop的HA
3.1 搭建hadoop
参考文档hadoop部署
3.2 搭建Zookeeper集群
参考文档zookeeper部署
3.3 HDFS HA
我这有三个节点，hadoop14、hadoop15、hadoop16
节点信息如下：
==============hadoop14 jps================6096 JobHistoryServer6436 Jps5751 DataNode5929 SecondaryNameNode6205 NodeManager5599 NameNode==============hadoop15 jps================3616 ResourceManager3746 NodeManager4163 Jps3454 DataNode==============hadoop16 jps================3089 Jps2796 DataNode2894 NodeManager咱们当初实现的是多个namenode和ResourceManager，打算如下：
| server_name | hadoop14 | hadoop15 | hadoop16 |
|---|---|---|---|
| namenode | Y | Y | Y |
| ResourceManager | Y | Y |
namenode咱们弄三个，ResourceManager咱们来两个。
3.2.1 HDFS HA
多个NameNode中，只有一个处于Active提供服务，其余的处于Standby状态，作为备用。如果Active的NameNode故障或者该节点须要保护，则切换到Standby节点上提供服务即可，这时提供服务的Standby的节点变为Active。
那么如何做到实时同步节点Active和Standby的元数据信息呢？那就须要一个共享存储系统，咱们这里应用Zookeeper。
Active负责向共享存储系统写入元数据，而处于Standby的的节点负责监听，当发现有新数据写入时，则读取这些数据，将其加载到内存中，保障本人内存状态与ActiveNameNode统一。
那么开始配置HDFS HA。
1）core-site.html
<!-- 把多个NameNode的地址组装成一个集群mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/ha/data/tmp</value> </property> <!-- 申明journalnode服务器存储目录--> <property> <name>dfs.journalnode.edits.dir</name> <value>file://${hadoop.tmp.dir}/jn</value> </property>2)hdfs-site.html
<!-- 齐全分布式集群名称 --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- NameNode数据存储目录 --> <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/name</value> </property> <!-- DataNode数据存储目录 --> <property> <name>dfs.datanode.data.dir</name> <value>file://${hadoop.tmp.dir}/data</value> </property> <!-- 集群中NameNode节点都有哪些 --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2,nn3</value> </property> <!-- nn1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop14:9000</value> </property> <!-- nn2的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop15:9000</value> </property> <!-- nn3的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn3/name> <value>hadoop16:9000</value> </property> <!-- nn1的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop14:9870</value> </property> <!-- nn2的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop15:9870</value> </property> <!-- nn3的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn3/name> <value>hadoop16:9870</value> </property> <!-- 指定NameNode元数据在JournalNode上的寄存地位 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop14:8485;hadoop15:8485;hadoop16:8485/mycluster</value> </property> <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <!-- 应用隔离机制时须要ssh无秘钥登录--> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/v2admin/.ssh/id_rsa</value> </property> <!-- 拜访代理类：client用于确定哪个NameNode为Active --> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property>3)别离在三个节点启动journalnode服务
$HADOOP_HOME/bin/hdfs --daemon start journalnode4)在nn1上，对namenode进行格式化
$HADOOP_HOME/binhdfs namenode -format$HADOOP_HOME/binhdfs --daemon start namenode而后在nn2和nn3上同步nn1的元数据信息。
$HADOOP_HOME/binbin/hdfs namenode -bootstrapStandby看下各个节点状态
==============hadoop14 jps================8885 JournalNode9157 NameNode7190 QuorumPeerMain9544 Jps==============hadoop15 jps================4579 QuorumPeerMain5859 NameNode5940 Jps5083 JournalNode==============hadoop16 jps================3811 JournalNode4053 NameNode3305 QuorumPeerMain4124 Jps有三个namenode启动胜利，此刻三个namenode都处于standby状态。
5）启动所有datanode
hdfs --daemon start datanode6）将nn1设为Active
hdfs haadmin -transitionToActive nn14)在nn1上，对namenode进行格式化
$HADOOP_HOME/binhdfs namenode -format$HADOOP_HOME/binhdfs --daemon start namenode而后在nn2和nn3上同步nn1的元数据信息。
$HADOOP_HOME/binbin/hdfs namenode -bootstrapStandby看下各个节点状态
==============hadoop14 jps================8885 JournalNode9157 NameNode7190 QuorumPeerMain9544 Jps==============hadoop15 jps================4579 QuorumPeerMain5859 NameNode5940 Jps5083 JournalNode==============hadoop16 jps================3811 JournalNode4053 NameNode3305 QuorumPeerMain4124 Jps有三个namenode启动胜利，此刻三个namenode都处于standby状态。
5）启动所有datanode
hdfs --daemon start datanode6）将nn1设为Active
hdfs haadmin -transitionToActive nn1这个时候还没有完结，因为当初能做的只是手动切换Active和Standby，还没有实现namenode主动切换，
实现主动切换就要借助ZooKeeper和ZKFailoverController（ZKFC）两个新组件，咱们先简略说下这两个组件的作用，再进行配置。
ZooKeeper保护大量协调数据，告诉客户端这些数据的扭转和监督客户端故障的高可用服务，Zookeeper有以下性能：
a)故障检测：ZooKeeper中为集群中的每个NameNode保护了一个长久会话，如果节点挂了，那ZooKeeper中的会话将终止，ZooKeeper告诉另一个NameNode须要触发故障转移。
b)Active NameNode抉择：ZooKeeper提供了一个简略的ActiveNameNode抉择机制，用于惟一的抉择一个节点为active状态，其实就是锁机制。
ZKFC是ZooKeeper的客户端，监督和治理NameNode的状态，它是实现HA的另一个组件。每个运行NameNode的主机上也运行了一个ZKFC过程，ZKFC负责：
a）衰弱监测：咱们须要晓得NameNode的衰弱状态，ZKFC定期地ping与之在雷同主机的NameNode，只有该NameNode及时地回复衰弱状态，ZKFC认为该节点是衰弱的，如果该节点挂了，解冻或进入不衰弱状态，衰弱监测器标识该节点为非衰弱的。
b）ZooKeeper会话治理：当本地NameNode是衰弱的，ZKFC放弃一个在ZooKeeper中关上的会话。如果本地NameNode处于active状态，ZKFC也放弃一个非凡的znode锁，该锁应用了ZooKeeper对长期节点的反对，如果会话终止，锁节点将主动删除。
c）基于ZooKeeper的抉择：如果本地NameNode是衰弱的，且ZKFC发现没有其它的节点以后持有znode锁，它将为本人获取该锁。如果胜利，则它曾经博得了抉择，并负责运行故障转移过程以使它的本地NameNode为Active。故障转移过程与后面形容的手动故障转移类似，首先如果必要爱护之前的现役NameNode，而后本地NameNode转换为Active状态。
好了，理解完这两个组件，持续进行咱们的配置
7）hdfs-site.xml中减少
<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value></property>8）core-site.xml减少
<property> <name>ha.zookeeper.quorum</name> <value>hadoop14:2181,hadoop15:2181,hadoop16:2181</value></property>9）启动
9-1）敞开所有hdfs服务
9-2）在每个节点上启动Zookeeper服务，生成环境中可本人写群启服务的脚本。
9-3）在每个节点上初始化Zookeeper中HA的状态
hdfs zkfc -formatZK9-4）启动HDFS服务
start-dfs.sh至此配置实现了。
咱们在web登录，能够看到一个Active，两个Standby。
咱们也能够进行验证是否胜利，kill掉Active节点，看看切换是否胜利。
可能会要的问题
No Route to Host from hadoop......这个个别是防火墙的关系，关掉防火墙个别能够了，这个不过多赘述。
3.2.2 Yarn HA
1.yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--启用resourcemanager ha--> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!--申明两台resourcemanager的地址--> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster-yarn1</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop15</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop16</value> </property> <!--指定zookeeper集群的地址--> <property> <name>yarn.resourcemanager.zk-address</name> <value>hadoop14:2181,hadoop15:2181,hadoop16:2181</value> </property> <!--启用主动复原--> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <!--指定resourcemanager的状态信息存储在zookeeper集群--> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value></property>2.启动yarn
start-yarn.sh3)查看服务状态
[v2admin@hadoop14 ha]$ yarn rmadmin -getServiceState rm1standby[v2admin@hadoop14 ha]$ yarn rmadmin -getServiceState rm2active至此Hadoop的HA配置实现了。