典型的Master/Slave架构HDFS的架构是典型的Master/Slave构造HDFS集群往往是一个NameNode+多个DataNode组成NameNode是集群的主节点, DataNode是集群的从节点

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。

HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。

由 DistributedFileSystem 通过 RPC 向 NameNode 请求返回文件的 Block 块所在的 DataNode 的地址。（我们知道 HDFS 默认策略对某个 Block 会保存三份副本到不同的 DataNode，那么 NameNode 应该返回那个 DataNod…

The client opens the file it wishes to read by calling open() on the FileSystem object, which for HDFS is an instance of DistributedFileSystem (step 1 in Figure 3-2).

1.准备 hadoop源码编译后的客户端，便于改动追踪代码 上传文件，ec目录和普通目录均上传测试： {代码…} ec目录：普通目录：]

配置环境hadoop环境真的是要命，随时都可以出现意向不到的问题，比如 {代码…} 很奇诡啊的问题，所有配置没问题，问题出现在ipv6上， 禁用掉系统的ipv6重启就好了 {代码…} {代码…} {代码…} {代码…}

客户端写数据到HDFS的流程：client就是shell命令行1.client先发送给namenode一个写数据请求2.namenode返回允许写请求3.client向namenode请求写BLK14.namenode返回告知BLK1写入哪几个机器 （ex. dn1,dn2,dn3）5.找…

在每次hdfs namenode -format之后，namenode的cluster id都会被自动更新，一般这种情况先去看datanode的logs日志，确定是cluster id不一致的问题了，这时候应该去到hdfs的tmp/dfs/current文件下，把datanode的clu…

整体：[链接]HDFS是hadoop的最底层存储部分官方：[链接]HDFS是每台机器运行的守护进程，对外暴露网络服务，允许其他节点访问存储在该机器上的文件NameNode跟踪哪个文件块存储在哪台机器上