作者：幻好
起源：恒生 LIGHT 云社区
基本概念
HDFS (Hadoop Distributed File System) 是 Hadoop 下的分布式文件系统，具备高容错、高吞吐量等个性，能够部署在低成本的硬件上。
首先，通过名字就能很分明的明确 HDFS 在 Hadoop 中是应该文件存储的组件。
HDFS 的设计之初，次要是思考到在数据量的一直增长的环境下，因为受制单机资源无限，为了保证系统可能提供高可用、高可靠性以及高扩大等要求，于是通过分布式架构，以达到响应的需要。
外围架构
HDFS 的次要架构分为三个局部：NameNode（nn）、DataNode(dn)、Secondary NameNode(2nn)。
NameNode（nn）
- 存储文件的元数据，如文件名，文件目录构造，文件属性（生成工夫、正本数、文件权限），以及每个文件的块列表和块所在的
DataNode等。
能够了解零碎的文件资源管理器，不便咱们查问文件存储地位以及相干属性信息。
DataNode(dn)
- 负责提供来自文件系统客户端的读写申请，执行块的创立，删除等操作。
能够了解为通过 NameNode 是存储一些文件根本属性信息不便咱们查问，而 DataNode 则是存储文件数据的。
Secondary NameNode(2nn)
- 用来监控
HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照
Secondary NameNode 能够了解为 NameNode 的备份，如果 NameNode 都挂了，Secondary NameNode 的备份还能持续提供服务
一个 HDFS 集群由一个 NameNode 和一些 DataNode 组成，NameNode 相当于控制中心，负责管理文件系统的名字空间、数据块与数据节点的映射以及数据节点的调度。DataNode 则负责解决理论的客户端读写的申请，存储数据。
运行原理
写数据
- 首先客户端向
NameNode发动RPC申请创立文件； NameNode会校验用户权限并查问文件是否存在，最终创立一条元数据信息并返回存储的DataNode信息给客户端；- 客户端开始向
DataNode上传数据，DataNode会对数据进行切分并实现正本的创立； - 而后
DataNode会将数据复制到其余的节点上; - 直到所有的节点实现后，返回上传胜利，敞开连贯。
读数据
- 首先客户端通过
RPC调用NameNode的查询方法； NameNode会校验用户权限并查问文件是否存在，并将文件保留在DataNode的节点返回；- 客户端向返回的
DataNode发动读取的申请，获取数据； - 当所有的数据读取实现后，资源敞开。
优缺点
长处：
- 可能解决较大文件，如 MB 到 TB。
- 可能部署在便宜服务器上，对性能要求不高，具备较高容错性。
- 可能对已存储内容进行追加存储内容
毛病：
- 拜访提早较高，不适宜利用在低提早场景
- 不适宜大量较小文件存储，会消耗较多资源。
总结
HDFS 的设计保障了零碎的高可用、高扩大等要求，尽管也有弊病，然而咱们应该依据切实的业务需要，抉择最合适的技术计划。
HDFS 通过其良好的跨平台移植性，使得其余大数据计算框架都将其作为数据长久化存储的首选计划。