因为 kafka 依赖 zookeeper 因而须要装置 zookeeper，而kafka是基于scala语言编写，scala又是基于 jdk的，因而须要装置 jdk。1、 JDK , 举荐在 jdk8 及以上的版本，此处装置 jdk 略。2、zookeeper , 在本机搭建一个 3 个节点的 zk 伪集群。3、kafka 在本地搭建一个3个节点的 kafka 集群。

最近业务开发部门给咱们部门提了一个需要，因为他们开发环境和测试环境共用一套kafka，他们心愿咱们部门能帮他们实现主动给kafka的topic加上环境前缀，比方开发环境，则topic为dev_topic,测试环境，则topic为test_topic,他们kafka客户端是应用spring-kafka。一开始接到这个需要的时候，我心里是回绝的，为啥开发环境和测…

内核空间是Linux内核运行的空间，而用户空间是用户程序的运行空间，为了保障内核平安，它们之间是隔离的，即便用户的程序解体了，内核也不受影响。内核空间能够执行任意命令，调用零碎的所有资源，用户空间只能执行简略运算，不能间接调用系统资源(I/O,过程资源,内存调配，外设，计时器，网络通信等)，必须通过零碎接口(…

2.冗余：音讯队列把数据进行长久化直到它们曾经被齐全解决，通过这一形式躲避了数据失落危险。许多音讯队列所采纳的”插入-获取-删除”范式中，在把一个音讯从队列中删除之前，须要你的解决零碎明确的指出该音讯曾经被处理完毕，从而确保你的数据被平安的保留直到你应用结束。

Kafka Consumer采纳的是被动拉取broker数据进行生产的。个别消息中间件存在推送(server推送数据给consumer)和拉取(consumer被动取服务器取数据)两种形式，这两种形式各有优劣。

在NetworkClient中，往下传的是一个残缺的ClientRequest，进到Selector，暂存到channel中的，也是一个残缺的Send对象(1个数据包)。但这个Send对象，交由底层的channel.write(Bytebuffer b)的时候，并不一定一次能够齐全发送，可能要调用屡次write，能力把一个Send对象齐全收回去。这是因为write是非阻塞的，不是等到齐全…

Kafka服务器在运行几个月后，存储空间耗尽了。剖析Kafka的占用空间状况，发现Kafka主动生成的“__consumer_offset”topic，占用了大量空间，它用于记录每个用户topic的生产偏移量。这一topic实用的清理规定与其余topic不同，某些非凡状况下，它可能始终得不到清理，耗尽服务器资源。

上一篇讲了Kafka Producer发送音讯的主体流程，这一篇咱们关注下Kafka的网络层是如何实现的。对于发送音讯而言，Producer是客户端，Broker是服务器端。Kafka应用了JavaNIO向服务器发送音讯，所以在这之前须要理解java nio的基本知识。这次网络层源码剖析从metadata request切入。

当生产者向 Topic 写入音讯的速度超过了现有消费者的处理速度，此时须要对消费者进行横向伸缩，用多个消费者从同一个主题读取音讯，对音讯进行分流。同一个分区不能被一个组中的多个 consumer 生产。

生产者的API应用还是比较简单,创立一个ProducerRecord对象(这个对象蕴含指标主题和要发送的内容,当然还能够指定键以及分区),而后调用send办法就把音讯发送进来了。