关于zookeeper:利用Zookeeper实现Hadoop-HA

1. 什么是 HA？

所谓 HA，也就是高可用，放在理论经营中，那就是 7 *24 小时不间断服务。
那么实现 HA，最要害的中央的就是打消单点故障，那什么是单点故障，就没有可代替的节点，一旦这个节点挂了，那整个服务也跟着瘫痪，直到该节点复原。

2.Hadoop HA

Hadoop 为什么须要 HA 呢？
因为存在单点故障，HDFS 上的 NameNode，这就是一个单点故障，它只存在一个，如果 NameNode 挂了，或者咱们须要对这个节点降级更新，那么会导致集群不可用，
2.0 版本之后，还有 Yarn 也是，ResourceManager 也只有一个，也是单点故障。

所以 Hadoop 须要 HA，而且咱们要实现两个中央的 HA，HDFS 的 HA 和 Yarn 的 HA。

3. 利用 Zookeeper 的实现 Hadoop 的 HA

3.1 搭建 hadoop

参考文档 hadoop 部署

3.2 搭建 Zookeeper 集群

参考文档 zookeeper 部署

3.3 HDFS HA

我这有三个节点，hadoop14、hadoop15、hadoop16
节点信息如下：

==============hadoop14 jps================
6096 JobHistoryServer
6436 Jps
5751 DataNode
5929 SecondaryNameNode
6205 NodeManager
5599 NameNode
==============hadoop15 jps================
3616 ResourceManager
3746 NodeManager
4163 Jps
3454 DataNode
==============hadoop16 jps================
3089 Jps
2796 DataNode
2894 NodeManager

咱们当初实现的是多个 namenode 和 ResourceManager，打算如下：

namenode 咱们弄三个，ResourceManager 咱们来两个。

3.2.1 HDFS HA

多个 NameNode 中，只有一个处于 Active 提供服务，其余的处于 Standby 状态，作为备用。如果 Active 的 NameNode 故障或者该节点须要保护，则切换到 Standby 节点上提供服务即可，这时提供服务的 Standby 的节点变为 Active。
那么如何做到实时同步节点 Active 和 Standby 的元数据信息呢？那就须要一个共享存储系统，咱们这里应用 Zookeeper。
Active 负责向共享存储系统写入元数据，而处于 Standby 的的节点负责监听，当发现有新数据写入时，则读取这些数据，将其加载到内存中，保障本人内存状态与 ActiveNameNode 统一。

那么开始配置 HDFS HA。
1）core-site.html

<!-- 把多个 NameNode 的地址组装成一个集群 mycluster -->

        <property>

            <name>fs.defaultFS</name>

            <value>hdfs://mycluster</value>

        </property>

    

    <!-- 指定 hadoop 运行时产生文件的存储目录 -->

        <property>

            <name>hadoop.tmp.dir</name>

            <value>/opt/module/ha/data/tmp</value>

        </property>

   <!-- 申明 journalnode 服务器存储目录 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>file://${hadoop.tmp.dir}/jn</value>

    </property>

2)hdfs-site.html

<!-- 齐全分布式集群名称 -->

    <property>

        <name>dfs.nameservices</name>

        <value>mycluster</value>

    </property>

  <!-- NameNode 数据存储目录 -->

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file://${hadoop.tmp.dir}/name</value>

  </property>

 <!-- DataNode 数据存储目录 -->

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file://${hadoop.tmp.dir}/data</value>

  </property>


    <!-- 集群中 NameNode 节点都有哪些 -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2,nn3</value>
    </property>


    <!-- nn1 的 RPC 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop14:9000</value>
    </property>

    <!-- nn2 的 RPC 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop15:9000</value>
    </property>

    <!-- nn3 的 RPC 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn3/name>
        <value>hadoop16:9000</value>
    </property>

    <!-- nn1 的 http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop14:9870</value>
    </property>

    <!-- nn2 的 http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop15:9870</value>
    </property>

    <!-- nn3 的 http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn3/name>
        <value>hadoop16:9870</value>
    </property>


    <!-- 指定 NameNode 元数据在 JournalNode 上的寄存地位 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop14:8485;hadoop15:8485;hadoop16:8485/mycluster</value>

    </property>


    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>


    <!-- 应用隔离机制时须要 ssh 无秘钥登录 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/v2admin/.ssh/id_rsa</value>
    </property>

    <!-- 拜访代理类：client 用于确定哪个 NameNode 为 Active -->
    <property>    
        <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

3) 别离在三个节点启动 journalnode 服务

$HADOOP_HOME/bin/hdfs --daemon start journalnode

4) 在 nn1 上，对 namenode 进行格式化

$HADOOP_HOME/binhdfs namenode -format
$HADOOP_HOME/binhdfs --daemon start namenode

而后在 nn2 和 nn3 上同步 nn1 的元数据信息。

$HADOOP_HOME/binbin/hdfs namenode -bootstrapStandby

看下各个节点状态

==============hadoop14 jps================
8885 JournalNode
9157 NameNode
7190 QuorumPeerMain
9544 Jps
==============hadoop15 jps================
4579 QuorumPeerMain
5859 NameNode
5940 Jps
5083 JournalNode
==============hadoop16 jps================
3811 JournalNode
4053 NameNode
3305 QuorumPeerMain
4124 Jps

有三个 namenode 启动胜利，此刻三个 namenode 都处于 standby 状态。
5）启动所有 datanode

hdfs --daemon start datanode

6）将 nn1 设为 Active

hdfs haadmin -transitionToActive nn1

4) 在 nn1 上，对 namenode 进行格式化

$HADOOP_HOME/binhdfs namenode -format
$HADOOP_HOME/binhdfs --daemon start namenode

而后在 nn2 和 nn3 上同步 nn1 的元数据信息。

$HADOOP_HOME/binbin/hdfs namenode -bootstrapStandby

看下各个节点状态

==============hadoop14 jps================
8885 JournalNode
9157 NameNode
7190 QuorumPeerMain
9544 Jps
==============hadoop15 jps================
4579 QuorumPeerMain
5859 NameNode
5940 Jps
5083 JournalNode
==============hadoop16 jps================
3811 JournalNode
4053 NameNode
3305 QuorumPeerMain
4124 Jps

有三个 namenode 启动胜利，此刻三个 namenode 都处于 standby 状态。
5）启动所有 datanode

hdfs --daemon start datanode

6）将 nn1 设为 Active

hdfs haadmin -transitionToActive nn1

这个时候还没有完结，因为当初能做的只是手动切换 Active 和 Standby，还没有实现 namenode 主动切换，
实现主动切换就要借助 ZooKeeper 和 ZKFailoverController（ZKFC）两个新组件，咱们先简略说下这两个组件的作用，再进行配置。

ZooKeeper 保护大量协调数据，告诉客户端这些数据的扭转和监督客户端故障的高可用服务，Zookeeper 有以下性能：
a) 故障检测：ZooKeeper 中为集群中的每个 NameNode 保护了一个长久会话，如果节点挂了，那 ZooKeeper 中的会话将终止，ZooKeeper 告诉另一个 NameNode 须要触发故障转移。
b)Active NameNode 抉择：ZooKeeper 提供了一个简略的 ActiveNameNode 抉择机制，用于惟一的抉择一个节点为 active 状态，其实就是锁机制。

ZKFC 是 ZooKeeper 的客户端，监督和治理 NameNode 的状态，它是实现 HA 的另一个组件。每个运行 NameNode 的主机上也运行了一个 ZKFC 过程，ZKFC 负责：
a）衰弱监测：咱们须要晓得 NameNode 的衰弱状态，ZKFC 定期地 ping 与之在雷同主机的 NameNode，只有该 NameNode 及时地回复衰弱状态，ZKFC 认为该节点是衰弱的，如果该节点挂了，解冻或进入不衰弱状态，衰弱监测器标识该节点为非衰弱的。
b）ZooKeeper 会话治理：当本地 NameNode 是衰弱的，ZKFC 放弃一个在 ZooKeeper 中关上的会话。如果本地 NameNode 处于 active 状态，ZKFC 也放弃一个非凡的 znode 锁，该锁应用了 ZooKeeper 对长期节点的反对，如果会话终止，锁节点将主动删除。
c）基于 ZooKeeper 的抉择：如果本地 NameNode 是衰弱的，且 ZKFC 发现没有其它的节点以后持有 znode 锁，它将为本人获取该锁。如果胜利，则它曾经博得了抉择，并负责运行故障转移过程以使它的本地 NameNode 为 Active。故障转移过程与后面形容的手动故障转移类似，首先如果必要爱护之前的现役 NameNode，而后本地 NameNode 转换为 Active 状态。

好了，理解完这两个组件，持续进行咱们的配置

7）hdfs-site.xml 中减少

<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

8）core-site.xml 减少

<property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop14:2181,hadoop15:2181,hadoop16:2181</value>
</property>

9）启动
9-1）敞开所有 hdfs 服务
9-2）在每个节点上启动 Zookeeper 服务，生成环境中可本人写群启服务的脚本。
9-3）在每个节点上初始化 Zookeeper 中 HA 的状态

hdfs zkfc -formatZK

9-4）启动 HDFS 服务

start-dfs.sh

至此配置实现了。
咱们在 web 登录，能够看到一个 Active，两个 Standby。
咱们也能够进行验证是否胜利，kill 掉 Active 节点，看看切换是否胜利。

可能会要的问题

No Route to Host from  hadoop......

这个个别是防火墙的关系，关掉防火墙个别能够了，这个不过多赘述。

3.2.2 Yarn HA

1.yarn-site.xml

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>



    <!-- 启用 resourcemanager ha-->

    <property>

        <name>yarn.resourcemanager.ha.enabled</name>

        <value>true</value>

    </property>

 

    <!-- 申明两台 resourcemanager 的地址 -->

    <property>

        <name>yarn.resourcemanager.cluster-id</name>

        <value>cluster-yarn1</value>

    </property>



    <property>

        <name>yarn.resourcemanager.ha.rm-ids</name>

        <value>rm1,rm2</value>

    </property>



    <property>

        <name>yarn.resourcemanager.hostname.rm1</name>

        <value>hadoop15</value>

    </property>



    <property>

        <name>yarn.resourcemanager.hostname.rm2</name>

        <value>hadoop16</value>

    </property>

 

    <!-- 指定 zookeeper 集群的地址 --> 

    <property>

        <name>yarn.resourcemanager.zk-address</name>

        <value>hadoop14:2181,hadoop15:2181,hadoop16:2181</value>

    </property>



    <!-- 启用主动复原 --> 

    <property>

        <name>yarn.resourcemanager.recovery.enabled</name>

        <value>true</value>

    </property>

 

    <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 --> 

    <property>

        <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

2. 启动 yarn

start-yarn.sh

3) 查看服务状态

[v2admin@hadoop14 ha]$ yarn rmadmin -getServiceState rm1
standby
[v2admin@hadoop14 ha]$ yarn rmadmin -getServiceState rm2
active

至此 Hadoop 的 HA 配置实现了。