简介： B 站抉择 Flink + Hudi 的数据湖技术计划，以及针对其做出的优化。本文作者喻兆靖，介绍了为什么 B 站抉择 Flink + Hudi 的数据湖技术计划，以及针对其做出的优化。次要内容为：

一、装置VM二、装置centos8.4三、装置hadoop1.创立用户①切换root用户 su②减少用户 useradd -m hadoop -s /bin/bash③明码 passwd hadoop④为用户减少管理员权限 vim /etc/sudoers 或者 visudo找到 root ALL=(ALL) ALL 这行，按i，进入插入模式，在这行上面减少一行内容hadoop ALL=(ALL) ALL，按ESC 键，而后输出”:wq” ，再…

依赖环境首先须要java反对这里下载1.8版本的jdk地址:[链接]下载完解压，并且在环境变量里申明JAVA_HOME {代码…} 保留后应用 source 命令使环境变量失效下载hadoop文件[链接] 这里抉择2.10版本同java程序一样解压到想搁置的目录执行 XXX(这里是解压完的目录地址)/bin/hadoop version能呈现版本号阐明解压正确了进行单机…

简介： 本文作者关涛是大数据系统畛域的资深专家，在微软（互联网/Azure云事业群）和阿里巴巴（阿里云）经验了大数据倒退20年过程中的后15年。本文试从零碎架构的角度，就大数据架构热点，每条技术线的倒退脉络，以及技术趋势和未解问题等方面做一概述。作者 | 阿里云计算平台研究员关涛、阿里巴巴项目管理专家王璀

HDFS（Hadoop Distributed File System）是Hadoop 我的项目的外围子项目，在大数据开发中通过分布式计算对海量数据进行存储与治理。

HadoopHadoop – 集群装置Hadoop – 集群装置（高可用）HDFSHDFS – 文件越来越多怎么办HDFS – HDFS的四个角色HDFS – NameNode的高可用HDFS – 平安模式是什么HDFS – NameNode如何感知到DataNode的HDFS – 什么是元数据HDFS – 双缓冲机制如何保障对元数据的高并发申请HDFS – CheckPoint机制是怎么实现的HDFS – 写数据的那些事…

之前也提过，客户端须要写数据的时候，就会跟NameNode说他筹备把文件上传到某个目录，NameNode就会开始进行元数据的更新。因为元数据的更新是十分重要的，所以客户端会在肯定条件内重试，直至胜利。元数据更新胜利后，Client就会创立两个队列，一个是dataQueue，一个是ackQueue。这两个队列的作用下文会讲。客户端写入的…

HDFS – 什么是元数据咱们提到了CheckPoint机制，次要就是合并多个edits文件，NameNode的压力曾经很大了，所以合并的事件，并不是NameNode来做的，而是SecondaryNamenode来反对的，如果在高可用集群或者联邦集群，那合并的事件，就是有standby节点的NameNode来做的。

上一份工作次要负责大数据平台的建设，在这个过程中积攒了一些Hadoop生态组件的搭建和应用笔记，因为工夫关系，不打算去批改其中的错别字和排版问题，间接释出原始笔记。

文件上传到HDFS服务器的时候，会分成多个块，并以多个正本的模式存储在服务器下面，那咱们怎么晓得这个文件的文件名是什么呢？这个文件被分成了多少块？每个块又存储在哪几个服务呢？所以HDFS在上传文件的时候，除了上传文件，还会另外保留这些信息，这些信息叫做元数据。元数据的在HDFS中有两种模式，一个是磁盘，一个…