一. 以后HDFS体系架构
1. 简介
以后的HDFS架构有两个次要的层：
- 命名空间(namespace)
HDFS体系结构中的命名空间层由文件，块和目录组成。该层反对与名称空间相干的文件系统操作，例如创立，删除，批改和列出文件和目录。 - 块存储层(Block Storage)
块存储层包含两个局部:
块治理： NameNode执行块治理。块治理通过解决注册和定期心跳来提供DataNode群集成员身份。它解决块报告并反对与块相干的操作，如创立，删除，批改或获取块地位。它还保护块的地位，正本地位。为未复制的块治理块复制，并在已复制的块中删除。
存储: DataNode通过在本地文件系统上存储块并提供读/写访问权限来治理存储空间。
2.局限性
当下的HDFS体系结构仅容许单个NameNode保护文件系统名称空间。留神HA体系中尽管说容许多个NameNode，然而他们所保护的是同一套文件系统名称空间。这种体系目前存在着一些弊病和局限性：
- DataNode磁盘存储空间不够减少节点，NameNode内存不够是否能够有限扩容。一种是DataNode横向扩大机器减少节点，一种是纵向扩大单机加内存。
- 因为名称空间和存储层的严密耦合，NameNode的代替实现很艰难。这限度了其余服务间接应用块存储。惟一的NameNode成了惟一入口。
- 文件系统的操作还限于NameNode一次解决的工作数。因而，群集的性能取决于NameNode吞吐量。
- 同样，因为应用单个名称空间，因而应用群集的占用者组织之间没有隔离。
二. HDFS Federation架构
1. 简介
Federation中文意思为联邦,联盟，是NameNode之间的Federation,也就是集群中会有多个NameNode。多个NameNode的状况意味着有多个namespace。留神，这区别于HA模式下的多NameNode，HA中它们是领有着同一个namespace。
Federation体系中多个namenode之间互相独立且不须要相互协调，各自分工，治理本人的区域。 每个DataNode要向集群中所有的namenode注册，且周期性地向所有namenode发送心跳和块报告，并执行来自所有namenode的命令。
上图中，有多个NameNode，别离示意为NN1，NN2，.. NNn。NS1，NS2等是由它们各自的NameNode治理的多个名称空间。
每个名称空间都有其本人的块池（block pool）（NS1具备Pool1，NS2具备Pool2，依此类推）。每个DataNode存储集群中所有块池的块。
HDFS Federation体系结构中的块池是属于单个名称空间的块的汇合。每个块池彼此独立地进行治理。在删除NameNode或名称空间时，DataNode中存在的相应块池也将被删除。在降级群集时，每个名称空间卷都作为一个单元进行降级。
2. 长处
- 命名空间可伸缩性
应用Federation，能够程度扩大名称空间。这对大型群集或蕴含太多小文件的群集无利，因为向群集增加了更多的NameNode。 - 性能
因为文件系统操作不受单个NameNode吞吐量的限度，因而能够进步文件系统的性能。 - 隔离
因为有多个名称空间，它能够为应用集群的占用者组织提供隔离。
3. HDFS Federation配置示例
core-site.xml
<configuration><property><name>fs.defaultFS</name><value>viewfs:///</value></property><property><name>fs.viewfs.mounttable.default.link./bi</name><value>hdfs://bi/</value></property><property><name>fs.viewfs.mounttable.default.link./dt</name><value>hdfs://dt/</value></property><!-- 指定hadoop长期目录 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/apps/hdpdata/</value></property><!-- 指定zookeeper地址 --><property><name>ha.zookeeper.quorum</name><value>mini5:2181,mini6:2181,mini7:2181</value></property></configuration>- hdfs-site.xml
<configuration><!--指定hdfs的nameservice为bi，须要和core-site.xml中的保持一致 --><property><name>dfs.nameservices</name><value>bi,dt</value></property><!-- bi上面有两个NameNode，别离是nn1，nn2 --><property><name>dfs.ha.namenodes.bi</name><value>nn1,nn2</value></property><property><name>dfs.ha.namenodes.dt</name><value>nn3,nn4</value></property><!-- bi的RPC通信地址 --><property><name>dfs.namenode.rpc-address.bi.nn1</name><value>mini1:9000</value></property><!-- nn1的http通信地址 --><property><name>dfs.namenode.http-address.bi.nn1</name><value>mini1:50070</value></property><!-- nn2的RPC通信地址 --><property><name>dfs.namenode.rpc-address.bi.nn2</name><value>mini2:9000</value></property><!-- nn2的http通信地址 --><property><name>dfs.namenode.http-address.bi.nn2</name><value>mini2:50070</value></property><!-- dt的RPC通信地址 --><property><name>dfs.namenode.rpc-address.dt.nn3</name><value>mini3:9000</value></property><!-- nn1的http通信地址 --><property><name>dfs.namenode.http-address.dt.nn3</name><value>mini3:50070</value></property><!-- nn2的RPC通信地址 --><property><name>dfs.namenode.rpc-address.dt.nn4</name><value>mini4:9000</value></property><!-- nn2的http通信地址 --><property><name>dfs.namenode.http-address.dt.nn4</name><value>mini4:50070</value></property><!-- 指定NameNode的edits元数据在JournalNode上的寄存地位 --><!--一下property项的配置，不能都配 --><!-- 在bi名称空间的两个namenode中用如下配置 --><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://mini5:8485;mini6:8485;mini7:8485/bi</value></property><!-- 在dt名称空间的两个namenode中，用如下配置--><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://mini5:8485;mini6:8485;mini7:8485/dt</value></property><!-- 指定JournalNode在本地磁盘存放数据的地位 --><property><name>dfs.journalnode.edits.dir</name><value>/home/hadoop/apps/hdpdata/journaldata</value></property><!-- 开启NameNode失败主动切换 --><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><!-- 配置失败主动切换实现形式 --><property><name>dfs.client.failover.proxy.provider.bi</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.client.failover.proxy.provider.dt</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><!-- 配置隔离机制办法，多个机制用换行宰割，即每个机制暂用一行--><property><name>dfs.ha.fencing.methods</name><value>sshfenceshell(/bin/true)</value></property><!-- 应用sshfence隔离机制时须要ssh免登陆 --><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/hadoop/.ssh/id_rsa</value></property><!-- 配置sshfence隔离机制超时工夫 --><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value></property></configuration>- mapred-site.xml
<configuration><!-- 指定mr框架为yarn形式 --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration> 4.yarn-site.xml
<configuration><!-- 开启RM高可用 --><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><!-- 指定RM的cluster id --><property><name>yarn.resourcemanager.cluster-id</name><value>yrc</value></property><!-- 指定RM的名字 --><property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><!-- 别离指定RM的地址 --><property><name>yarn.resourcemanager.hostname.rm1</name><value>mini3</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>mini4</value></property><!-- 指定zk集群地址 --><property><name>yarn.resourcemanager.zk-address</name><value>mini5:2181,mini6:2181,mini7:2181</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>4.Federation初始化步骤
先启动zookeeper集群再在5/6/7上启动journalnodehadoop-daemon.sh start journalnode在bi下nn1上 hdfs namenode -format –clusterID itcasthdfs zkfc -formatZK拷贝元数据目录到standby(nn2)在dt下nn3上 hdfs namenode -format –clusterID itcast ###clusterID必须与bi的雷同hdfs zkfc -formatZK拷贝元数据目录到standby(nn4)在bi下nn1上sbin/start-dfs.sh在resoucemanager配置的主机上启动yarnsbin/start-yarn.sh