前言:有好多同学留言说看不懂我之前写的博客——kafka利用实例篇,不明确外面的代码为什么那么写,我找到了本人之前写的对于kafka技术解析的ppt,现将局部重点及相干原理整理出来供大家参考。

1. 音讯队列介绍


kafka定义:kafka是一个分布式的基于公布/订阅模式的音讯队列(message queue),次要利用于大数据实时处理畛域。
音讯队列的定义

两种模式的区别


公布订阅模式如何实现实现了负载平衡?

2. 风行队列的模型比拟

RabbitMQ

生产端发送一条音讯通过路由投递到Queue,只有一个消费者能生产到。

当RabbitMQ须要反对多订阅时,发布者发送的音讯通过路由同时写到多个Queue,不同订阅组生产此音讯。
Kafka

3. Kafka架构



留神1:一个主题中的一个分区中的音讯只能被一个消费者组中的一个消费者生产

留神2:但如果是不同的消费者组能够呈现:一个分区中的音讯能够被不同消费者组中的多个消费者同时生产

留神3:当一个消费者组中的消费者数大于分区数时:会造成消费者的资源节约

留神4:当消费者数小于分区数:一个消费者能够同时生产两个消费者组中的音讯

4. Kafka生产过程剖析

1.写入形式--producer采纳推(push)模式将音讯公布到broker

5. Kafka的存储策略



文件存储形式