一、前言
在开始之前首先要明确一点,kafka 是一个分布式流平台,实质上是一个音讯队列。谈到音讯队列,就会联想到音讯队列的三大作用:异步、消峰、解耦。kafka 次要利用在大数据的实时处理畛域,应用起来比较简单,本文次要剖析 kafka 的工作流程、存储机制,分区策略,并围绕多个角度开展总结。
然而要留神的是,随着时代的巨轮驶向 2020,目前 kafka 曾经不是一家独大了,Pulsar 作为一个天生反对多租户、跨地区复制、对立音讯模型的音讯平台,曾经在不少企业胜利的代替了 Kafka。对于 Apache Pulsar 的更多常识,感兴趣的能够关注我,前面会对它进行总结和深刻。
二、kafka 工作流程
-
kafka 将音讯依照 topic 进行分类,每条 message 由三个属性组成。
- offset:示意 message 在以后 Partition 中的偏移量,是一个逻辑上的值,惟一确定了 Partition 中的一条 message,能够简略的认为是一个 id;
- MessageSize:示意 message 内容 data 的大小;
- data:message 的具体内容
- 在整个 kafka 架构中,生产者和消费者采纳公布和订阅的模式,生产者生产音讯,消费者生产音讯,它俩各司其职,并且都是面向 topic 的。(需_要留神:topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。_)
- Producer 生产的数据会被一直追加到该 log 文件末端,且每条数据都有本人的 offset。
- 消费者组中的每个消费者,都会实时记录本人生产到了哪个 offset,这样当呈现故障并复原后,能够从这个 offset 地位持续进行生产,防止漏掉数据或者反复生产。
二、文件存储机制
2.1、文件存储构造及命名规定
在 kafka 的设计之初,思考到了生产者生产的音讯一直追加到 log 文件开端后导致 log 文件过大的状况,所以采纳了 分片 和索引 机制,具体来说就是将每个 partition 分为多个 segment。每个 segment 对应三个文件:.index 文件、.log 文件、.timeindex 文件(晚期版本中没有 )。其中.log 和.index 文件位于一个文件夹下,该文件夹的命名规定为:topic 名称 + 分区序号。例如,csdn 这个 topic 有 2 个分区,则其对应的文件夹为 csdn-0,csdn-1;
如果咱们关上 csdn- 0 这个文件夹,会看到外面的文件如下:
`00000000000000000000.index
00000000000000000000.log
00000000000000150320.index
00000000000000150320.log`
* 1
* 2
* 3
* 4
通过这个文件夹下有两个 log,咱们能够得出结论,这个 partition 有 2 个 segment。
文件命名规定:partition 全局的第一个 segment 从 0 开始,后续每个 segment 文件名为上一个 segment 文件最初一条音讯的 offset 值,数值大小为 64 位,20 位数字字符长度,没有数字用 0 填充。
留神:index 文件并不是从 0 开始,也不是每次递增 1 的,这是因为 Kafka 采取稠密索引存储的形式,每隔肯定字节的数据建设一条索引,它缩小了索引文件大小,使得可能把 index 映射到内存,升高了查问时的磁盘 IO 开销,同时也并没有给查问带来太多的工夫耗费。
上面援用一张旧的 kafka 存储机制图,不带.timeindex 文件:
2.2、文件关系
index 文件和 log 文件的关系:“.index”文件存储大量的索引信息,“.log”文件存储大量的数据,索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。
2.3、应用 offset 查找 message
因为每一个 segment 文件名为上一个 Segment 最初一条音讯的 offset,所以当须要查找一个指定 offset 的 message 时,通过在所有 segment 的文件名中进行二分查找就能找到它归属的 segment,再在其 index 文件中找到其对应到文件上的物理地位,就能拿出该 message。
举例:这里咱们以查找 offset 为 6 的 message 为例,查找流程如下:
- 首先要确定这个 offset 信息在哪个 segment 文件(因为是程序读写,这里应用二分查找法),第一个文件名为 00000000000000000000,第二个为 00000000000000150320,所以 6 这个 offset 的数据必定在第一个文件外面;
- 找到文件后就好办了,在这个文件的 00000000000000000000.index 文件中的 [6,9807] 定位到 00000000000000000000.log 文件中 9807 这个地位来进行数据读取即可。
三、分区策略
3.1、为什么要进行分区
在理解分区策略之前须要先理解为什么要分区,能够从两方面来解释这个问题:
- 不便在集群中扩大,每个 Partition 能够通过调整以适应它所在的机器,而一个 topic 又能够有多个 Partition 组成,因而整个集群就能够适应任意大小的数据;
- 能够进步并发,分区后以 Partition 为单位读写。
3.2、分区策略
首先要晓得 producer 发送的数据其实须要封装成一个 ProducerRecord 对象才能够,咱们看 ProducerRecord 提供的办法如下:
通过这个构造方法,咱们晓得 kafka 分区策略有如下 3 种:
- 指明 partition 的状况下,间接将指明的值间接作为 partiton 值;
- 没有指明 partition 值但有 key 的状况下,将 key 的 hash 值与 topic 的 partition 数进行取余失去 partition 值;
- 既没有 partition 值又没有 key 值的状况下,第一次调用时随机生成一个整数(前面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余失去 partition 值,也就是常说的 round-robin 算法。