一、前言

在开始之前首先要明确一点，kafka是一个分布式流平台，实质上是一个音讯队列。谈到音讯队列，就会联想到音讯队列的三大作用：异步、消峰、解耦。kafka次要利用在大数据的实时处理畛域，应用起来比较简单，本文次要剖析kafka的工作流程、存储机制，分区策略，并围绕多个角度开展总结。

然而要留神的是，随着时代的巨轮驶向2020，目前kafka曾经不是一家独大了，Pulsar作为一个天生反对多租户、跨地区复制、对立音讯模型的音讯平台，曾经在不少企业胜利的代替了Kafka。对于Apache Pulsar的更多常识，感兴趣的能够关注我，前面会对它进行总结和深刻。

二、kafka工作流程

  1. kafka将音讯依照topic进行分类，每条message由三个属性组成。

    • offset：示意 message 在以后 Partition 中的偏移量，是一个逻辑上的值，惟一确定了 Partition 中的一条 message，能够简略的认为是一个 id；
    • MessageSize：示意 message 内容 data 的大小；
    • data：message 的具体内容
  2. 在整个kafka架构中，生产者和消费者采纳公布和订阅的模式，生产者生产音讯，消费者生产音讯，它俩各司其职，并且都是面向topic的。（需_要留神：topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。_）
  3. Producer生产的数据会被一直追加到该log文件末端，且每条数据都有本人的offset。
  4. 消费者组中的每个消费者，都会实时记录本人生产到了哪个offset，这样当呈现故障并复原后，能够从这个offset地位持续进行生产，防止漏掉数据或者反复生产。

二、文件存储机制

2.1、文件存储构造及命名规定

在kafka的设计之初，思考到了生产者生产的音讯一直追加到log文件开端后导致log文件过大的状况，所以采纳了分片和索引机制，具体来说就是将每个partition分为多个segment。每个segment对应三个文件：.index 文件、.log 文件、.timeindex 文件（晚期版本中没有）。其中.log和.index文件位于一个文件夹下，该文件夹的命名规定为：topic名称+分区序号。例如，csdn这个topic有2个分区，则其对应的文件夹为csdn-0,csdn-1；

如果咱们关上csdn-0这个文件夹，会看到外面的文件如下：

`00000000000000000000.index00000000000000000000.log00000000000000150320.index00000000000000150320.log` *   1*   2*   3*   4

通过这个文件夹下有两个log，咱们能够得出结论，这个partition有2个segment。

文件命名规定：partition全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最初一条音讯的offset值，数值大小为64位，20位数字字符长度，没有数字用0填充。

留神：index 文件并不是从0开始，也不是每次递增1的，这是因为 Kafka 采取稠密索引存储的形式，每隔肯定字节的数据建设一条索引，它缩小了索引文件大小，使得可能把 index 映射到内存，升高了查问时的磁盘 IO 开销，同时也并没有给查问带来太多的工夫耗费。

上面援用一张旧的kafka存储机制图，不带.timeindex 文件：

2.2、文件关系

index文件和log文件的关系：“.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文件中message的物理偏移地址。

2.3、应用offset查找message

因为每一个segment文件名为上一个 Segment 最初一条音讯的 offset ，所以当须要查找一个指定 offset 的 message 时，通过在所有 segment 的文件名中进行二分查找就能找到它归属的 segment ，再在其 index 文件中找到其对应到文件上的物理地位，就能拿出该 message 。

举例：这里咱们以查找offset为6的message为例，查找流程如下：

  1. 首先要确定这个offset信息在哪个segment文件（因为是程序读写，这里应用二分查找法），第一个文件名为00000000000000000000，第二个为00000000000000150320，所以6这个offset的数据必定在第一个文件外面；
  2. 找到文件后就好办了，在这个文件的 00000000000000000000.index文件中的[6，9807]定位到00000000000000000000.log文件中9807这个地位来进行数据读取即可。

三、分区策略

3.1、为什么要进行分区

在理解分区策略之前须要先理解为什么要分区，能够从两方面来解释这个问题：

  1. 不便在集群中扩大，每个Partition能够通过调整以适应它所在的机器，而一个topic又能够有多个Partition组成，因而整个集群就能够适应任意大小的数据；
  2. 能够进步并发，分区后以Partition为单位读写。
3.2、分区策略

首先要晓得producer发送的数据其实须要封装成一个ProducerRecord对象才能够，咱们看ProducerRecord提供的办法如下：


通过这个构造方法，咱们晓得kafka分区策略有如下3种：

  1. 指明 partition 的状况下，间接将指明的值间接作为 partiton 值；
  2. 没有指明 partition 值但有 key 的状况下，将 key 的 hash 值与 topic 的 partition 数进行取余失去 partition 值；
  3. 既没有 partition 值又没有 key 值的状况下，第一次调用时随机生成一个整数（前面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余失去 partition 值，也就是常说的 round-robin 算法。