关于java:kafka一工作流程存储机制分区策略

一、前言

在开始之前首先要明确一点，kafka 是一个分布式流平台，实质上是一个音讯队列。谈到音讯队列，就会联想到音讯队列的三大作用：异步、消峰、解耦。kafka 次要利用在大数据的实时处理畛域，应用起来比较简单，本文次要剖析 kafka 的工作流程、存储机制，分区策略，并围绕多个角度开展总结。

然而要留神的是，随着时代的巨轮驶向 2020，目前 kafka 曾经不是一家独大了，Pulsar 作为一个天生反对多租户、跨地区复制、对立音讯模型的音讯平台，曾经在不少企业胜利的代替了 Kafka。对于 Apache Pulsar 的更多常识，感兴趣的能够关注我，前面会对它进行总结和深刻。

二、kafka 工作流程

1. kafka 将音讯依照 topic 进行分类，每条 message 由三个属性组成。

   • offset：示意 message 在以后 Partition 中的偏移量，是一个逻辑上的值，惟一确定了 Partition 中的一条 message，能够简略的认为是一个 id；
   • MessageSize：示意 message 内容 data 的大小；
   • data：message 的具体内容
2. 在整个 kafka 架构中，生产者和消费者采纳公布和订阅的模式，生产者生产音讯，消费者生产音讯，它俩各司其职，并且都是面向 topic 的。（需_要留神：topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。_）
3. Producer 生产的数据会被一直追加到该 log 文件末端，且每条数据都有本人的 offset。
4. 消费者组中的每个消费者，都会实时记录本人生产到了哪个 offset，这样当呈现故障并复原后，能够从这个 offset 地位持续进行生产，防止漏掉数据或者反复生产。

二、文件存储机制

2.1、文件存储构造及命名规定

在 kafka 的设计之初，思考到了生产者生产的音讯一直追加到 log 文件开端后导致 log 文件过大的状况，所以采纳了 分片 和索引 机制，具体来说就是将每个 partition 分为多个 segment。每个 segment 对应三个文件：.index 文件、.log 文件、.timeindex 文件（晚期版本中没有 ）。其中.log 和.index 文件位于一个文件夹下，该文件夹的命名规定为：topic 名称 + 分区序号。例如，csdn 这个 topic 有 2 个分区，则其对应的文件夹为 csdn-0,csdn-1；

如果咱们关上 csdn- 0 这个文件夹，会看到外面的文件如下：

`00000000000000000000.index
00000000000000000000.log
00000000000000150320.index
00000000000000150320.log` 

*   1
*   2
*   3
*   4

通过这个文件夹下有两个 log，咱们能够得出结论，这个 partition 有 2 个 segment。

文件命名规定：partition 全局的第一个 segment 从 0 开始，后续每个 segment 文件名为上一个 segment 文件最初一条音讯的 offset 值，数值大小为 64 位，20 位数字字符长度，没有数字用 0 填充。

留神：index 文件并不是从 0 开始，也不是每次递增 1 的，这是因为 Kafka 采取稠密索引存储的形式，每隔肯定字节的数据建设一条索引，它缩小了索引文件大小，使得可能把 index 映射到内存，升高了查问时的磁盘 IO 开销，同时也并没有给查问带来太多的工夫耗费。

上面援用一张旧的 kafka 存储机制图，不带.timeindex 文件：

2.2、文件关系

index 文件和 log 文件的关系：“.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。

2.3、应用 offset 查找 message

因为每一个 segment 文件名为上一个 Segment 最初一条音讯的 offset，所以当须要查找一个指定 offset 的 message 时，通过在所有 segment 的文件名中进行二分查找就能找到它归属的 segment，再在其 index 文件中找到其对应到文件上的物理地位，就能拿出该 message。

举例：这里咱们以查找 offset 为 6 的 message 为例，查找流程如下：

1. 首先要确定这个 offset 信息在哪个 segment 文件（因为是程序读写，这里应用二分查找法），第一个文件名为 00000000000000000000，第二个为 00000000000000150320，所以 6 这个 offset 的数据必定在第一个文件外面；
2. 找到文件后就好办了，在这个文件的 00000000000000000000.index 文件中的 [6，9807] 定位到 00000000000000000000.log 文件中 9807 这个地位来进行数据读取即可。

三、分区策略

3.1、为什么要进行分区

在理解分区策略之前须要先理解为什么要分区，能够从两方面来解释这个问题：

1. 不便在集群中扩大，每个 Partition 能够通过调整以适应它所在的机器，而一个 topic 又能够有多个 Partition 组成，因而整个集群就能够适应任意大小的数据；
2. 能够进步并发，分区后以 Partition 为单位读写。

3.2、分区策略

首先要晓得 producer 发送的数据其实须要封装成一个 ProducerRecord 对象才能够，咱们看 ProducerRecord 提供的办法如下：

通过这个构造方法，咱们晓得 kafka 分区策略有如下 3 种：

1. 指明 partition 的状况下，间接将指明的值间接作为 partiton 值；
2. 没有指明 partition 值但有 key 的状况下，将 key 的 hash 值与 topic 的 partition 数进行取余失去 partition 值；
3. 既没有 partition 值又没有 key 值的状况下，第一次调用时随机生成一个整数（前面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余失去 partition 值，也就是常说的 round-robin 算法。