在hadoop-2.6.0-cdh5.7.0源码中有个BUILDING.txt文件，里面列出了编译所需依赖组件。

本次我们来讨论如何使用Python操作HDFS，进行文件上传，下载，查看文件夹，以及如何使用Python进行MapReduce编程。

在Hadoop集群安装配置完成后，需将namenode格式化，namenode格式化需先启动journalnode。

在搭建Hadoop集群等场景，需提前配置好各节点两两之间的ssh免密登录。那么ssh免密登录是怎么回事呢？本文以一图讲述原理，并以最简单的命令完成配置。原理如图：

为 “二、实际操作-2.1 HDFS上运行MapReduce 程序” 进行的配置，配置完请先进行 2.1 HDFS上运行MapReduce 程序 操作。

HA：RM启动时会向zk的/mrstore路径下写入lock文件，写入成功的则为active RM，否则为standby RM。启动后，RM会将job信息写入/mrstore,RM进程中的ZKFC线程会监控/mrstore中的lock文件，若不存在则RM为active，存在…

读写：客户端通过命名空间发请求，可以无感知的找到active NN，active NN所做操作会保存在editlog文件中，并向JournalNode节点写入editlog。DN向NN发送心跳报告的时候，NN将editlog上的数据操作发送给DN实现。HA…

分片，元数据hash(事先分多)，range(hbase 热点)，一致性hash(不推荐，写不好)一般三个副本可以保证11个9，两副本大规模下3个9必丢数据

HDFS(Hadoop Distributed File System)是一个分布式文件系统，它具有很高的容错性，可以支持运行在廉价的硬件设备上。HDFS具有很高的吞吐量，非常适合拥有海量数据的application。HDFS放宽了一些POSIX要求，以支…

首先准备Hadoop连接驱动，放到任意一个文件夹中，并将其bin目录写入path环境环境变量，另取其中的hadoop.dll文件放入c盘System32文件夹中。创建空maven项目，这是我的全部依赖