关于hadoop:Hadoop框架HDFS读写机制与API详解

本文源码：GitHub·点这里 || GitEE·点这里

一、读写机制

1、数据写入

• 客户端拜访NameNode申请上传文件；
• NameNode查看指标文件和目录是否曾经存在；
• NameNode响应客户端是否能够上传；
• 客户端申请NameNode文件块Block01上传服务地位；
• NameNode响应返回3个DataNode节点；
• 客户端通过输出流建设DataNode01传输通道；
• DataNode01调用DataNode02，DataNode02调用DataNode03，通信管道建设实现；
• DataNode01、DataNode02、DataNode03逐级应答客户端。
• 客户端向DataNode01上传第一个文件块Block；
• DataNode01接管后传给DataNode02，DataNode02传给DataNode03;
• Block01传输实现之后，客户端再次申请NameNode上传第二个文件块；

2、数据读取

• 客户端通过向NameNode申请下载文件；
• NameNode查问获取文件元数据并返回；
• 客户端通过元数据信息获取文件DataNode地址；
• 就近准则抉择一台DataNode服务器，申请读取数据；
• DataNode传输数据返回给客户端；
• 客户端以本地解决指标文件；

二、根底API案例

1、根底演示接口

public interface HdfsFileService {    // 创立文件夹    void mkdirs(String path) throws Exception ;    // 文件判断    void isFile(String path) throws Exception ;    // 批改文件名    void reName(String oldFile, String newFile) throws Exception ;    // 文件详情    void fileDetail(String path) throws Exception ;    // 文件上传    void copyFromLocalFile(String local, String path) throws Exception ;    // 拷贝到本地：下载    void copyToLocalFile(String src, String dst) throws Exception ;    // 删除文件夹    void delete(String path) throws Exception ;    // IO流上传    void ioUpload(String path, String local) throws Exception ;    // IO流下载    void ioDown(String path, String local) throws Exception ;    // 分块下载    void blockDown(String path, String local1, String local2) throws Exception ;}

2、命令API用法

@Servicepublic class HdfsFileServiceImpl implements HdfsFileService {    @Resource    private HdfsConfig hdfsConfig ;    @Override    public void mkdirs(String path) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                               configuration, "root");        // 2、创立目录        fileSystem.mkdirs(new Path(path));        // 3、敞开资源        fileSystem.close();    }    @Override    public void isFile(String path) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                               configuration, "root");        // 2、判断文件和文件夹        FileStatus[] fileStatuses = fileSystem.listStatus(new Path(path));        for (FileStatus fileStatus : fileStatuses) {            if (fileStatus.isFile()) {                System.out.println("文件:"+fileStatus.getPath().getName());            }else {                System.out.println("文件夹:"+fileStatus.getPath().getName());            }        }        // 3、敞开资源        fileSystem.close();    }    @Override    public void reName(String oldFile, String newFile) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                configuration, "root");        // 2、批改文件名        fileSystem.rename(new Path(oldFile), new Path(newFile));        // 3、敞开资源        fileSystem.close();    }    @Override    public void fileDetail(String path) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                               configuration, "root");        // 2、读取文件详情        RemoteIterator<LocatedFileStatus> listFiles =                                    fileSystem.listFiles(new Path(path), true);        while(listFiles.hasNext()){            LocatedFileStatus status = listFiles.next();            System.out.println("文件名："+status.getPath().getName());            System.out.println("文件长度："+status.getLen());            System.out.println("文件权限："+status.getPermission());            System.out.println("所属分组："+status.getGroup());            // 存储块信息            BlockLocation[] blockLocations = status.getBlockLocations();            for (BlockLocation blockLocation : blockLocations) {                // 块存储的主机节点                String[] hosts = blockLocation.getHosts();                for (String host : hosts) {                    System.out.print(host+";");                }            }            System.out.println("==============Next==============");        }        // 3、敞开资源        fileSystem.close();    }    @Override    public void copyFromLocalFile(String local, String path) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                configuration, "root");        // 2、执行上传操作        fileSystem.copyFromLocalFile(new Path(local), new Path(path));        // 3、敞开资源        fileSystem.close();    }    @Override    public void copyToLocalFile(String src,String dst) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                               configuration, "root");        // 2、执行下载操作        // src 服务器文件门路 ; dst 文件下载到的门路        fileSystem.copyToLocalFile(false, new Path(src), new Path(dst), true);        // 3、敞开资源        fileSystem.close();    }    @Override    public void delete(String path) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                configuration, "root");        // 2、删除文件或目录 是否递归        fileSystem.delete(new Path(path), true);        // 3、敞开资源        fileSystem.close();    }    @Override    public void ioUpload(String path, String local) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                configuration, "root");        // 2、输入输出流        FileInputStream fis = new FileInputStream(new File(local));        FSDataOutputStream fos = fileSystem.create(new Path(path));        // 3、流对拷        IOUtils.copyBytes(fis, fos, configuration);        // 4、敞开资源        IOUtils.closeStream(fos);        IOUtils.closeStream(fis);        fileSystem.close();    }    @Override    public void ioDown(String path, String local) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                configuration, "root");        // 2、输入输出流        FSDataInputStream fis = fileSystem.open(new Path(path));        FileOutputStream fos = new FileOutputStream(new File(local));        // 3、流对拷        IOUtils.copyBytes(fis, fos, configuration);        // 4、敞开资源        IOUtils.closeStream(fos);        IOUtils.closeStream(fis);        fileSystem.close();    }    @Override    public void blockDown(String path,String local1,String local2) throws Exception {        readFileSeek01(path,local1);        readFileSeek02(path,local2);    }    private void readFileSeek01(String path,String local) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                                configuration, "root");        // 2、输入输出流        FSDataInputStream fis = fileSystem.open(new Path(path));        FileOutputStream fos = new FileOutputStream(new File(local));        // 3、局部拷贝        byte[] buf = new byte[1024];        for(int i =0 ; i < 1024 * 128; i++){            fis.read(buf);            fos.write(buf);        }        // 4、敞开资源        IOUtils.closeStream(fos);        IOUtils.closeStream(fis);        fileSystem.close();    }    private void readFileSeek02(String path,String local) throws Exception {        // 1、获取文件系统        Configuration configuration = new Configuration();        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),                configuration, "root");        // 2、输入输出流        FSDataInputStream fis = fileSystem.open(new Path(path));        // 定位输出数据地位        fis.seek(1024*1024*128);        FileOutputStream fos = new FileOutputStream(new File(local));        // 3、流拷贝        IOUtils.copyBytes(fis, fos, configuration);        // 4、敞开资源        IOUtils.closeStream(fos);        IOUtils.closeStream(fis);        fileSystem.close();    }}

3、合并切割文件

cat hadoop-2.7.2.zip.block1 hadoop-2.7.2.zip.block2 > hadoop.zip

三、机架感知

Hadoop2.7的文档阐明

第一个正本和client在一个节点里，如果client不在集群范畴内，则这第一个node是随机选取的；第二个正本和第一个正本放在雷同的机架上随机抉择；第三个正本在不同的机架上随机抉择，缩小了机架间的写流量，通常能够进步写性能,机架故障的概率远小于节点故障的概率，因而该策略不会影响数据的稳定性。

四、网络拓扑

HDFS写数据的过程中，NameNode会抉择间隔待上传数据最近间隔的DataNode接收数据，基于机架感知，NameNode就能够画出上图所示的datanode网络拓扑图。D1,R1都是交换机，最底层是datanode。

Distance(/D1/R1/N1,/D1/R1/N1)=0  雷同的节点Distance(/D1/R1/N1,/D1/R1/N2)=2  同一机架下的不同节点Distance(/D1/R1/N1,/D1/R2/N1)=4  同一IDC下的不同datanodeDistance(/D1/R1/N1,/D2/R3/N1)=6  不同IDC下的datanode

五、源代码地址

GitHub·地址https://github.com/cicadasmile/big-data-parentGitEE·地址https://gitee.com/cicadasmile/big-data-parent

举荐浏览：编程体系整顿