关于hadoop:Hadoop框架HDFS读写机制与API详解

43次阅读

共计 7189 个字符，预计需要花费 18 分钟才能阅读完成。

本文源码：GitHub·点这里 || GitEE·点这里

一、读写机制

1、数据写入

  • 客户端拜访 NameNode 申请上传文件；
  • NameNode 查看指标文件和目录是否曾经存在；
  • NameNode 响应客户端是否能够上传；
  • 客户端申请 NameNode 文件块 Block01 上传服务地位；
  • NameNode 响应返回 3 个 DataNode 节点；
  • 客户端通过输出流建设 DataNode01 传输通道；
  • DataNode01 调用 DataNode02，DataNode02 调用 DataNode03，通信管道建设实现；
  • DataNode01、DataNode02、DataNode03 逐级应答客户端。
  • 客户端向 DataNode01 上传第一个文件块 Block；
  • DataNode01 接管后传给 DataNode02，DataNode02 传给 DataNode03;
  • Block01 传输实现之后，客户端再次申请 NameNode 上传第二个文件块；

2、数据读取

  • 客户端通过向 NameNode 申请下载文件；
  • NameNode 查问获取文件元数据并返回；
  • 客户端通过元数据信息获取文件 DataNode 地址；
  • 就近准则抉择一台 DataNode 服务器，申请读取数据；
  • DataNode 传输数据返回给客户端；
  • 客户端以本地解决指标文件；

二、根底 API 案例

1、根底演示接口 

public interface HdfsFileService {

    // 创立文件夹
    void mkdirs(String path) throws Exception ;

    // 文件判断
    void isFile(String path) throws Exception ;

    // 批改文件名
    void reName(String oldFile, String newFile) throws Exception ;

    // 文件详情
    void fileDetail(String path) throws Exception ;

    // 文件上传
    void copyFromLocalFile(String local, String path) throws Exception ;

    // 拷贝到本地：下载
    void copyToLocalFile(String src, String dst) throws Exception ;

    // 删除文件夹
    void delete(String path) throws Exception ;

    // IO 流上传
    void ioUpload(String path, String local) throws Exception ;

    // IO 流下载
    void ioDown(String path, String local) throws Exception ;

    // 分块下载
    void blockDown(String path, String local1, String local2) throws Exception ;
}

2、命令 API 用法 

@Service
public class HdfsFileServiceImpl implements HdfsFileService {

    @Resource
    private HdfsConfig hdfsConfig ;

    @Override
    public void mkdirs(String path) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                               configuration, "root");
        // 2、创立目录
        fileSystem.mkdirs(new Path(path));
        // 3、敞开资源
        fileSystem.close();}

    @Override
    public void isFile(String path) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                               configuration, "root");
        // 2、判断文件和文件夹
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path(path));
        for (FileStatus fileStatus : fileStatuses) {if (fileStatus.isFile()) {System.out.println("文件:"+fileStatus.getPath().getName());
            }else {System.out.println("文件夹:"+fileStatus.getPath().getName());
            }
        }
        // 3、敞开资源
        fileSystem.close();}

    @Override
    public void reName(String oldFile, String newFile) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                configuration, "root");
        // 2、批改文件名
        fileSystem.rename(new Path(oldFile), new Path(newFile));
        // 3、敞开资源
        fileSystem.close();}

    @Override
    public void fileDetail(String path) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                               configuration, "root");
        // 2、读取文件详情
        RemoteIterator<LocatedFileStatus> listFiles =
                                    fileSystem.listFiles(new Path(path), true);
        while(listFiles.hasNext()){LocatedFileStatus status = listFiles.next();
            System.out.println("文件名："+status.getPath().getName());
            System.out.println("文件长度："+status.getLen());
            System.out.println("文件权限："+status.getPermission());
            System.out.println("所属分组："+status.getGroup());
            // 存储块信息
            BlockLocation[] blockLocations = status.getBlockLocations();
            for (BlockLocation blockLocation : blockLocations) {
                // 块存储的主机节点
                String[] hosts = blockLocation.getHosts();
                for (String host : hosts) {System.out.print(host+";");
                }
            }
            System.out.println("==============Next==============");
        }
        // 3、敞开资源
        fileSystem.close();}

    @Override
    public void copyFromLocalFile(String local, String path) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                configuration, "root");
        // 2、执行上传操作
        fileSystem.copyFromLocalFile(new Path(local), new Path(path));
        // 3、敞开资源
        fileSystem.close();}

    @Override
    public void copyToLocalFile(String src,String dst) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                               configuration, "root");
        // 2、执行下载操作
        // src 服务器文件门路 ; dst 文件下载到的门路
        fileSystem.copyToLocalFile(false, new Path(src), new Path(dst), true);
        // 3、敞开资源
        fileSystem.close();}

    @Override
    public void delete(String path) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                configuration, "root");
        // 2、删除文件或目录 是否递归
        fileSystem.delete(new Path(path), true);
        // 3、敞开资源
        fileSystem.close();}

    @Override
    public void ioUpload(String path, String local) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                configuration, "root");
        // 2、输入输出流
        FileInputStream fis = new FileInputStream(new File(local));
        FSDataOutputStream fos = fileSystem.create(new Path(path));
        // 3、流对拷
        IOUtils.copyBytes(fis, fos, configuration);
        // 4、敞开资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fileSystem.close();}

    @Override
    public void ioDown(String path, String local) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                configuration, "root");
        // 2、输入输出流
        FSDataInputStream fis = fileSystem.open(new Path(path));
        FileOutputStream fos = new FileOutputStream(new File(local));
        // 3、流对拷
        IOUtils.copyBytes(fis, fos, configuration);
        // 4、敞开资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fileSystem.close();}

    @Override
    public void blockDown(String path,String local1,String local2) throws Exception {readFileSeek01(path,local1);
        readFileSeek02(path,local2);
    }

    private void readFileSeek01(String path,String local) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                                configuration, "root");
        // 2、输入输出流
        FSDataInputStream fis = fileSystem.open(new Path(path));
        FileOutputStream fos = new FileOutputStream(new File(local));
        // 3、局部拷贝
        byte[] buf = new byte[1024];
        for(int i =0 ; i < 1024 * 128; i++){fis.read(buf);
            fos.write(buf);
        }
        // 4、敞开资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fileSystem.close();}

    private void readFileSeek02(String path,String local) throws Exception {
        // 1、获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
                configuration, "root");
        // 2、输入输出流
        FSDataInputStream fis = fileSystem.open(new Path(path));
        // 定位输出数据地位
        fis.seek(1024*1024*128);
        FileOutputStream fos = new FileOutputStream(new File(local));
        // 3、流拷贝
        IOUtils.copyBytes(fis, fos, configuration);
        // 4、敞开资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fileSystem.close();}
}

3、合并切割文件 

cat hadoop-2.7.2.zip.block1 hadoop-2.7.2.zip.block2 > hadoop.zip

三、机架感知

Hadoop2.7 的文档阐明

第一个正本和 client 在一个节点里，如果 client 不在集群范畴内，则这第一个 node 是随机选取的；第二个正本和第一个正本放在雷同的机架上随机抉择；第三个正本在不同的机架上随机抉择，缩小了机架间的写流量，通常能够进步写性能, 机架故障的概率远小于节点故障的概率，因而该策略不会影响数据的稳定性。

四、网络拓扑

HDFS 写数据的过程中，NameNode 会抉择间隔待上传数据最近间隔的 DataNode 接收数据，基于机架感知，NameNode 就能够画出上图所示的 datanode 网络拓扑图。D1,R1 都是交换机，最底层是 datanode。

Distance(/D1/R1/N1,/D1/R1/N1)=0  雷同的节点
Distance(/D1/R1/N1,/D1/R1/N2)=2  同一机架下的不同节点
Distance(/D1/R1/N1,/D1/R2/N1)=4  同一 IDC 下的不同 datanode
Distance(/D1/R1/N1,/D2/R3/N1)=6  不同 IDC 下的 datanode

五、源代码地址 

GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent

举荐浏览：编程体系整顿

序号 项目名称 GitHub 地址 GitEE 地址 举荐指数
01 Java 形容设计模式, 算法, 数据结构 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
02 Java 根底、并发、面向对象、Web 开发 GitHub·点这里 GitEE·点这里 ☆☆☆☆
03 SpringCloud 微服务根底组件案例详解 GitHub·点这里 GitEE·点这里 ☆☆☆
04 SpringCloud 微服务架构实战综合案例 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
05 SpringBoot 框架根底利用入门到进阶 GitHub·点这里 GitEE·点这里 ☆☆☆☆
06 SpringBoot 框架整合开发罕用中间件 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
07 数据管理、分布式、架构设计根底案例 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
08 大数据系列、存储、组件、计算等框架 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆

正文完
hadoop
发表至： hadoop
2020-09-30
 0
关于hadoop:从-Hadoop-迁移到-Lakehouse-架构的-5-个关键步骤
软件工具篇01如何用思维导图构建自己的知识体系
HADOOP环境配置
Hadoop篇08Hadoop数据压缩