共计 1388 个字符，预计需要花费 4 分钟才能阅读完成。
前言
思考的过程往往比间接失去论断更加重要
kafka 利用场景
- 利用监控
- 网站用户行为追踪
- 流数据
- 持久性日志
基本概念
在说基本概念前，先看一下 kafka 的零碎架构
- Broker
一般而言，一台机器就是一个 broker，当然 1 台机器上能够部署多个 broker - Producer
音讯的生产者 - Consumer
音讯的消费者 - Consumer Group
消费者组，组内能够有多个消费者，共享同一个 groupid。生产组内的消费者，个别状况下为同一个消费者部署多个实例。 - Topic
topic 在 kafka 中是一个逻辑上的概念，用于将 partition 分类。1 个 topic 有多个 partition。生产者将音讯发送到指定的 topic 中，消费者从指定的 topic 进行生产。 - partition
一个可追加的日志存储文件。kafka 的分区能够散布在不同的 broker 上 多正本机制
kafka 为 partition 引入了多正本机制，能够通过减少正本数量来晋升容灾能力。同一分区中的不同正本保留雷同的音讯。正本之间个别是 一主多从。如下图，每个分区有 3 个正本- AR
集群中的正本，统称 AR（Assigned Replication），AR = ISR + OSR - ISR
与 leader 正本放弃肯定同步的正本，称为 ISR（in-sync-replication）。音讯需先发送到 leader 正本，follower 能力从 leader 正本中拉取音讯 - OSR
与 leader 正本同步滞后过多的正本，称为 OSR（out-sync-replication）。 - leader 正本
leader 正本负责保护 follower 正本的状态，当 ISR 正本中滞后 leader 正本过多，会被移除到 OSR 正本中。当 OSR 正本跟上了 leader 正本，会被挪动到 ISR 正本。只有在 ISR 汇合的正本，才有机会选举 leader - HW、LEO
HW（Hight Watermark）俗称高水位，标识一个特定的偏移量，消费者只能拉取该偏移量之前的音讯
LEO（Low End Offset）日志最初偏移量。标识日志文件中待写入音讯的偏移量 - 关系图
图 2: HW、LEO 的关系
图 3 – 图 4: leader 正本、follower、HW、LEO 关系
音讯写入之后，LEO 变成 5，follower，会从 leader 中拉取音讯，进行同步
当 ISR 汇合的正本都写入 3 后，HW 就会变成 4，示意 0-3 的音讯为可生产
当 ISR 汇合都写入 3、4 之后，HW、LEO 值都变成 5 - 总结
kafka 音讯的写入，是可靠性和可用性的衡量。当 ISR 正本均写入音讯时，不必期待 OSR 正本也写入音讯。这里防止了 OSR 滞后太多，从而导致不可用性，且音讯被写入到多个正本，也保障了音讯的可靠性。
当 leader 写入完音讯立刻挂掉后，ISR 正本因未能同步到音讯，从而导致音讯失落。
- AR
与 RocketMQ 区别
- partition 在 RocketMQ 中为 队列。生产模型也简直统一，基于生产组进行生产
- RocketMQ 有自带的注册核心，无需 zookeeper。
- kafka partition 有多正本机制，RocketMQ 队列没有多正本机制
- kafka 多正本机制有丢音讯问题，RocketMQ 则没有
- 从设计上来看，RocketMQ 与 kafka 的解决的利用场景不一样。RocketMQ 重视音讯的可靠性，而 kafka 在这一方面比拟弱，kafka 更重视零碎吞吐量。因而 kafka 不适宜要求音讯不能丢的场景。
正文完
