一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

假设存储在NameNode节点的硬盘中，因为经常需要随机访问和响应客户请求，必然效率太低，所以是存储在内存中的

前面解析RecordAccumulator提到了batches是用来存放每个TopicPartition对应的批次队列的，因为会在多线程环境下使用所以声明为ConcurrentMap，但是batches是一个读多写少的场景，所以kafka设计了CopyOnWriteMap这…

集群环境： centOs6.8：hadoop102，hadoop103，hadoop104 jdk版本：jdk1.8.0_144 hadoop版本：Hadoop 2.7.2

客户端Producer源码解析 kafka源码解析1：Cluster集群信息kafka源码解析2：Metadata集群元信息kafka源码解析3：RecordAccumulator消息存储 服务端

前面两节分析了部分源码，中间间隔了一个月没有继续分享，原因是在深入阅读中碰到了一些问题，因为我阅读源码是以KafkaProducer发送消息（send方法）作为入口开始逐行分析，涉及到新的类后就把整个类和相关的类全…

想要使用 HDFS API，需要导入依赖 hadoop-client。如果是 CDH 版本的 Hadoop，还需要额外指明其仓库地址：

enable 和 disable 可以启用/禁用这个表,is_enabled 和 is_disabled 来检查表是否被禁用

Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行…

Hadoop是一个开源的分布式计算平台，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。两个核心：