Consumer 的源码解析次要来看 KafkaConsumer，KafkaConsumer 是 Consumer 接口的实现类。KafkaConsumer 提供了一套封装良好的 API，开发人员能够基于这套 API 轻松实现从 Kafka 服务端拉取音讯的性能，这样开发人员基本不必关怀与 Kafka 服务端之间网络连接的治理、心跳检测、申请超时重试等底层操作，也不用关怀订阅 To…

[链接]作用命令形容启动 ZKbin/zookeeper-server-start.sh -daemon config/zookeeper.propertiesKafka 安装包自带 ZK，能够单节点启动启动 Kafka 服务器bin/kafka-server-start.sh config/server.properties 创立 Topic（test）bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –parti…

consumer group外面的各个consumer都向 group coordinator发送JoinGroup申请，这样group coordinator就有了所有consumer的成员信息，于是它从中选出一个consumer作为Leader consumer，并通知Leader consumer说：你拿着这些成员信息和我给你的topic分区信息去安顿一下哪些consumer负责生产哪些分区吧

broker的响应，是通过监听OP_READ事件开始的。当有read事件的时候，就会通过SelectionKey找到对应的KafkaChannel。

假如咱们音讯要发送到192.168.1.10的broker中，假如ID为1，在建设连贯的时候，会在缓存中，保留这个Node的连贯状态，包含DISCONNECTED, CONNECTING, CONNECTED，因为咱们是建设连贯，所以刚开始内存中的状态就是CONNECTING。

Kafka是一个 Scala 语言开发的多分区、多正本、分布式的基于公布/订阅模式的音讯队列。目前 Kafka 曾经定位为一个分布式流式解决平台，它以高吞吐、可长久化、可程度扩大、反对流数据处理等多种个性而被宽泛应用。

咱们数据都写入了缓冲区，那这里的数据不可能始终放在缓存里的，所以kafka有一个线程，叫做Sender，这个线程，会始终运行，查看缓冲区里的能够发送的音讯，就会把他收回去，上面看看有几种场景能够发消息。

一、Producer 的网络模型咱们后面几篇有说 Producer 发送流程的源码剖析，但那个是大的轮廓，波及到发送很多相干的内容，比方：获取 topic 的 metadata 信息key 和 value 的序列化获取该 record 要发送到的 partition向 RecordAccmulator 中追加 record 数据唤醒 sender 线程发送 RecordBatch那这篇老周次要来说下 Produ…

kafka在音讯指定好分区后，并没有间接把音讯收回去，而是把音讯寄存在内存中，再分批收回去，这样就缩小了网络传输的次数，缩小了网络的开销，整体的效率就会失去了很大的晋升。治理音讯的内存叫做RecordAccumulator，即音讯累加器。

咱们上一篇说了 聊聊 Kafka：Producer 源码解析，这一篇咱们来说下 Producer Metadata 的读取与更新机制。上一篇从宏观上介绍了 Producer 的宏观模型，其中通过 waitOnMetadata() 办法获取 topic 的 metadata 信息这一块货色很多，所以独自拎一篇进去讲。