乐趣区

关于kafka:kafka技术原理解析

前言:有好多同学留言说看不懂我之前写的博客——kafka 利用实例篇,不明确外面的代码为什么那么写,我找到了本人之前写的对于 kafka 技术解析的 ppt,现将局部重点及相干原理整理出来供大家参考。

1. 音讯队列介绍


kafka 定义:kafka 是一个分布式的基于公布 / 订阅模式的音讯队列(message queue),次要利用于大数据实时处理畛域。
音讯队列的定义

两种模式的区别


公布订阅模式如何实现实现了负载平衡?

2. 风行队列的模型比拟

RabbitMQ

生产端发送一条音讯通过路由投递到 Queue,只有一个消费者能生产到。

当 RabbitMQ 须要反对多订阅时,发布者发送的音讯通过路由同时写到多个 Queue,不同订阅组生产此音讯。
Kafka

3. Kafka 架构



留神 1: 一个主题中的一个分区中的音讯只能被一个消费者组中的一个消费者生产

留神 2: 但如果是不同的消费者组能够呈现:一个分区中的音讯能够被不同消费者组中的多个消费者同时生产

留神 3: 当一个消费者组中的消费者数大于分区数时:会造成消费者的资源节约

留神 4: 当消费者数小于分区数:一个消费者能够同时生产两个消费者组中的音讯

4. Kafka 生产过程剖析

1. 写入形式 –producer 采纳推(push)模式将音讯公布到 broker

5. Kafka 的存储策略



文件存储形式

退出移动版