一. HDFS客户端外围代码

1. Configuration

Configuration提供对配置参数的拜访，通常称之为配置文件类。次要用于加载或者设定程序运行时相干的参数属性。

1. Configuration加载默认配置

首先加载了静态方法和动态代码块，其中在动态代码块中显示默认加载了两个配置文件：
core-default.xml以及core-site.xml

2. Configuration 加载用户设置

通过conf.set设置的属性也会被加载。

1. FileSystem

FileSystem类是一个通用的文件系统的形象基类。具体来说它能够实现为一个分布式的文件系统，也能够实现为一个本地文件系统。所有的可能会应用到HDFS的用户代码在进行编写时都应该应用FileSystem对象。
代表本地文件系统的实现是LocalFileSystem，代表分布式文件系统的实现是DistributedFileSystem。当然针对其余hadoop反对的文件系统也有不同的具体实现。
因而HDFS客户端在进行读写操作之前，须要创立FileSystem对象的实例。

1. 获取FileSystem 实例

FileSystem对象是通过调用getInternal办法失去的。

首先在getInternal办法中调用了createFileSystem办法，进去该办法：
FileSystem实例是通过反射的形式取得的，具体实现是通过调用反射工具类ReflectionUtils的newInstance办法并将class对象以及Configuration对象作为参数传入最终失去了FileSystem实例。

二. HDFS通信协议

1. 简介

HDFS作为一个分布式文件系统，它的某些流程是非常复杂的（例如读、写文件等典型流程），经常波及数据节点、名字节点和客户端三者之间的配合、互相调用能力实现。为了升高节点间代码的耦合性，进步单个节点代码的内聚性， HDFS将这些节点间的调用形象成不同的接口。
HDFS节点间的接口次要有两种类型：
Hadoop RPC接口：基于Hadoop RPC框架实现的接口；
流式接口：基于TCP或者HTTP实现的接口；

2. Hadoop RPC 接口

1. RPC 介绍

RPC 全称 Remote Procedure Call——近程过程调用。就是为了解决近程调用服务的一种技术，使得调用者像调用本地服务一样不便通明。

通信模块: 传输RPC申请和响应的网络通信模块，能够基于TCP协定，也能够基于UDP协定，能够是同步，也能够是异步的。
客户端Stub程序： 服务器和客户端都包含Stub程序。在客户端，Stub程序体现的就像本地程序一样，但底层却会将调用申请和参数序列化并通过通信模块发送给服务器。之后Stub程序期待服务器的响应信息，将响应信息反序列化并返回给申请程序。

服务器端Stub程序： 在服务器端，Stub程序会将近程客户端发送的调用申请和参数反序列化，依据调用信息触发对应的服务程序，而后将服务程序返回的响应信息序列化并发回客户端。

申请程序： 申请程序会像调用本地办法一样调用客户端Stub程序，而后接管Stub程序返回的响应信息。

服务程序： 服务器会接管来自Stub程序的调用申请，执行对应的逻辑并返回执行后果。

Hadoop RPC调用使得HDFS过程可能像本地调用一样调用另一个过程中的办法，并且能够传递Java根本类型或者自定义类作为参数，同时接管返回值。如果近程过程在调用过程中出现异常，本地过程也会收到对应的异样。目前Hadoop RPC调用是基于Protobuf实现的。

Hadoop RPC接口次要定义在org.apache.hadoop.hdfs.protocol包和org.apache.hadoop.hdfs.server.protocol包中，外围的接口有：
ClientProtocol、ClientDatanodeProtocol、DatanodeProtocol。

2. ClientProtocol

ClientProtocol定义了客户端与名字节点间的接口，这个接口定义的办法十分多，客户端对文件系统的所有操作都须要通过这个接口，同时客户端读、写文件等操作也须要先通过这个接口与Namenode协商之后，再进行数据块的读出和写入操作。

ClientProtocol定义了所有由客户端发动的、由Namenode响应的操作。这个接口十分大，有80多个办法，外围的是：HDFS文件读相干的操作、HDFS文件写以及追加写的相干操作。

  1. 读数据相干的办法
    ClientProtocol中与客户端读取文件相干的办法次要有两个： getBlockLocations（）和reportBadBlocks()
    客户端会调用ClientProtocol.getBlockLocations）办法获取HDFS文件指定范畴内所有数据块的地位信息。这个办法的参数是HDFS文件的文件名以及读取范畴，返回值是文件指定范畴内所有数据块的文件名以及它们的地位信息，应用LocatedBlocks对象封装。每个数据块的地位信息指的是存储这个数据块正本的所有Datanode的信息，这些Datanode会以与以后客户端的间隔远近排序。客户端读取数据时，会首先调用getBlockLocations（）办法获取HDFS文件的所有数据块的地位信息，而后客户端会依据这些地位信息从数据节点读取数据块。

    客户端会调用ClientProtocol.reportBadBlocks（）办法向Namenode汇报谬误的数据块。当客户端从数据节点读取数据块且发现数据块的校验和并不正确时，就会调用这个办法向Namenode汇报这个谬误的数据块信息。
  2. 写、追加数据相干办法
    在HDFS客户端操作中最重要的一部分就是写入一个新的HDFS文件，或者关上一个已有的HDFS文件并执行追加写操作。ClientProtocol中定义了8个办法反对HDFS文件的写操作： create（）、 append（）、 addBlock（）、 complete（）， abandonBlockO），getAddtionnalDatanodes（）、updateBlockForPipeline()和updatePipeline()。

create（）办法用于在HDFS的文件系统目录树中创立一个新的空文件，创立的门路由src参数指定。这个空文件创建后对于其余的客户端是“可读”的，然而这些客户端不能删除、重命名或者挪动这个文件，直到这个文件被敞开或者租约过期。客户端写一个新的文件时，会首先调用create办法在文件系统目录树中创立一个空文件，而后调用addBlock办法获取存储文件数据的数据块的地位信息，最初客户端就能够依据地位信息建设数据流管道，向数据节点写入数据了。

当客户端实现了整个文件的写入操作后，会调用complete（）办法告诉Namenode。这个操作会提交新写入HDFS文件的所有数据块，当这些数据块的正本数量满足系统配置的最小正本系数（默认值为1），也就是该文件的所有数据块至多有一个无效正本时， complete（）办法会返回true，这时Namenode中文件的状态也会从构建中状态转换为失常状态；否则， complete会返回false，客户端就须要反复调用complete操作，直至该办法返回true

  1. ClientDatanodeProtocol
    客户端与数据节点间的接口。ClientDatanodeProtocol中定义的办法次要是用于客户端获取数据节点信息时调用，而真正的数据读写交互则是通过流式接口进行的。
    ClientDatanodeProtocol中定义的接口能够分为两局部：一部分是反对HDFS文件读取操作的，例如getReplicaVisibleLength（）以及getBlockLocalPathInfo）；另一部分是反对DFSAdmin中与数据节点治理相干的命令。咱们重点关注第一局部。
  • getReplicaVisibleLength
    客户端会调用getReplicaVisibleLength（）办法从数据节点获取某个数据块正本实在的数据长度。当客户端读取一个HDFS文件时，须要获取这个文件对应的所有数据块的长度，用于建设数据块的输出流，而后读取数据。然而Namenode元数据中文件的最初一个数据块长度与Datanode理论存储的可能不统一，所以客户端在创立输出流时就须要调用getReplicaVisibleLength（）办法从Datanode获取这个数据块的实在长度。
  • getBlockLocalPathInfo
    HDFS对于本地读取，也就是Client和保留该数据块的Datanode在同一台物理机器上时，是有很多优化的。Client会调用ClientProtocol.getBlockLocalPathInfo）办法获取指定数据块文件以及数据块校验文件在以后节点上的本地门路，而后利用这个本地门路执行本地读取操作，而不是通过流式接口执行近程读取，这样也就大大优化了读取的性能。

  • DatanodeProtocol
    数据节点通过这个接口与名字节点通信，同时名字节点会通过这个接口中办法的返回值向数据节点下发指令。留神，这是名字节点与数据节点通信的惟一形式。这个接口十分重要，数据节点会通过这个接口向名字节点注册、汇报数据块的全量以及增量的存储状况。同时，名字节点也会通过这个接口中办法的返回值，将名字节点指令带回该数据块，依据这些指令，数据节点会执行数据块的复制、删除以及复原操作。
    能够将DatanodeProtocol定义的办法分为三种类型： Datanode启动相干、心跳相干以及数据块读写相干。

    2. 基于TCP/HTTP流式接口

    HDFS除了定义RPC调用接口外，还定义了流式接口，流式接口是HDFS中基于TCP或者HTTP实现的接口。在HDFS中，流式接口包含了基于TCP的DataTransferProtocol接口，以及HA架构中Active Namenode和Standby Namenode之间的HTTP接口。

    1. DataTransferProtocol

    DataTransferProtocol是用来形容写入或者读出Datanode上数据的基于TCP的流式接口，HDFS客户端与数据节点以及数据节点与数据节点之间的数据块传输就是基于DataTransferProtocol接口实现的。HDFS没有采纳Hadoop RPC来实现HDFS文件的读写性能，是因为Hadoop RPC框架的效率目前还不足以撑持超大文件的读写，而应用基于TCP的流式接口有利于批量解决数据，同时进步了数据的吞吐量。
    DataTransferProtocol中最重要的办法就是readBlock（）和writeBlock（）。

  • readBlock：从以后Datanode读取指定的数据块
  • writeBlock：将指定数据块写入数据流管道（pipeLine）中。
    DataTransferProtocol接口调用并没有应用Hadoop RPC框架提供的性能，而是定义了用于发送DataTransferProtocol申请的Sender类，以及用于响应DataTransferProtocol申请的Receiver类。
    Sender类和Receiver类都实现了DataTransferProtocol接口 。咱们假如DFSClient发动了一个DataTransferProtocol.readBlock（）操作，那么DFSClient会调用Sender将这个申请序列化，并传输给远端的Receiver。远端的Receiver接管到这个申请后,会反序列化申请,而后调用代码 执行读取操作。

3. 数据写入流程剖析

1. 写入流程图

2. 写入数据代码

package cn.itcast.hdfs.write;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.FileInputStream;public class HDFSWriteDemo {    public static void main(String[] args) throws Exception{        // 设置客户端用户身份：root 具备在hdfs读写权限        System.setProperty("HADOOP_USER_NAME","root");        // 创立Conf对象        Configuration conf = new Configuration();        // 设置操作的文件系统是HDFS 默认是file:///        conf.set("fs.defaultFS","hdfs://node1:8020");        // 创立FileSystem对象 其是一个通用的文件系统的形象基类        FileSystem fs = FileSystem.get(conf);        // 设置文件输入的门路        Path path = new Path("/helloworld.txt");        // 调用create办法创立文件        FSDataOutputStream out = fs.create(path);        // 创立本地文件输出流        FileInputStream in = new FileInputStream("D:\\datasets\\hdfs\\helloworld.txt");        // IO工具类实现流对拷贝        IOUtils.copy(in,out);        // 敞开连贯        fs.close();    }}

3. 写入数据流程梳理

1. 客户端申请NameNode创立

HDFS客户端通过对DistributedFileSystem对象调用create()申请创立文件。DistributedFileSystem为客户端返回FSDataOutputStream输入流对象。通过源码正文能够发现FSDataOutputStream是一个包装类，所包装的是DFSOutputStream。
能够通过create办法调用一直跟上来，能够发现最终的调用也验证了上述论断，返回的是DFSOutputStream 。

点击进入代码DFSOutputStream dfsos = dfs.create能够发现，DFSOutputStream这个类是从DFSClient类的create办法中返回过去的


点击进入代码DFSOutputStream dfsos = dfs.create能够发现，DFSOutputStream这个类是从DFSClient类的create办法中返回过去的。

DFSClient类中的DFSOutputStream实例对象是通过调用DFSOutputStream类的newStreamForCreate办法产生的。

2. Namenode 执行申请查看

DistributedFileSystem对namenode进行RPC调用，申请上传文件。namenode执行各种查看判断：指标文件是否存在、父目录是否存在、客户端是否具备创立该文件的权限。查看通过，namenode就会为创立新文件记录一条记录。否则，文件创建失败并向客户端抛出一个IOException。

3. DataStreamer类

在之前的newStreamForCreate办法中，咱们发现了最终返回的是out对象，并且在返回之前，调用了out对象的start办法。

DataStreamer类是DFSOutputSteam的一个外部类，在这个类中，有一个办法叫做run办法，数据写入的要害代码就在这个run办法中实现。

4. DataStreamer写数据

在客户端写入数据时，DFSOutputStream将它分成一个个数据包（packet 默认64kb）,并写入一个称之为数据队列（data queue）的外部队列。DataStreamer申请NameNode挑选出适宜存储数据正本的一组DataNode。这一组DataNode采纳pipeline机制做数据的发送。默认是3正本存储。

DataStreamer将数据包流式传输到pipeline的第一个datanode,该DataNode存储数据包并将它发送到pipeline的第二个DataNode。同样，第二个DataNode存储数据包并且发送给第三个（也是最初一个）DataNode。

DFSOutputStream也保护着一个外部数据包队列来期待DataNode的收到确认回执，称之为确认队列（ack queue）,收到pipeline中所有DataNode确认信息后，该数据包才会从确认队列删除。

客户端实现数据写入后，将在流上调用close()办法敞开。该操作将残余的所有数据包写入DataNode pipeline，并在分割到NameNode告知其文件写入实现之前，期待确认。

因为namenode曾经晓得文件由哪些块组成（DataStream申请调配数据块），因而它仅需期待最小复制块即可胜利返回。数据块最小复制是由参数dfs.namenode.replication.min指定，默认是1.

4. 数据读取流程剖析

1. 读取流程图

2. 读取数据代码

package cn.itcast.hdfs.read;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.FileInputStream;import java.io.FileOutputStream;public class HDFSReadDemo {    public static void main(String[] args) throws Exception{        //设置客户端用户身份：root 具备在hdfs读写权限        System.setProperty("HADOOP_USER_NAME","root");        //创立Conf对象        Configuration conf = new Configuration();        //设置操作的文件系统是HDFS 默认是file:///        conf.set("fs.defaultFS","hdfs://node1:8020");        //创立FileSystem对象 其是一个通用的文件系统的形象基类        FileSystem fs = FileSystem.get(conf);        //调用open办法读取文件        FSDataInputStream in = fs.open(new Path("/helloworld.txt"));        //创立本地文件输入流        FileOutputStream out = new FileOutputStream("D:\\helloworld.txt");        //IO工具类实现流对拷贝        IOUtils.copy(in,out);        //敞开连贯        fs.close();    }}