Kafka分区原理简图

Kafka 分区原理简图

最近在用 kafka 作为消费队列，看的网上对分区的工作原理都是文字描述比较多，所以特地画了简图分享出来

1. Kafka 写入数据是随机写入某一个分区，每个分区内的数据是按照顺序的，如下图，每个分区的入库的数量并不一致
2. Kafka 消费时，如果只有一个进程，那么只能消费某一个分区的数据（随机监听某一个），当前分区消费完成后才会通过 reblance 过程，选择其他分区去消费。（ 如果当前分区一直有数据，那么其他分区的数据就会延迟消费 ）
3. 为了减少延迟消费和提升消费效率，建议消费的进程数和分区数保持一致，这样就不会有 reblance 过程，数据不管落到哪一个分区，都能被立即消费到