关于java:Kafka集群及副本的概念

大家好，我是尚影嫣🌷，一名 Java 后端程序媛。如果您喜爱我的文章，欢送点赞➕关注❤️，让咱们一起成为更好的咱们~

Kafka 集群及正本的概念

1. 搭建 kafka 集群，3 个 broker

新建 3 个 server.properties 文件：

• server.properties

  broker.id=0 <br/>
  listeners=PLAINTEXT://192.168.65.60:9092 <br/>
  log.dir=/usr/local/data/kafka-logs

• server1.properties

  broker.id=1 <br/>
  listeners=PLAINTEXT://192.168.65.60:9093 <br/>
  log.dir=/usr/local/data/kafka-logs-1

• server2.properties

  broker.id=2 <br/>
  listeners=PLAINTEXT://192.168.65.60:9094 <br/>
  log.dir=/usr/local/data/kafka-logs-2

启动 3 台服务器：

./kafka-server-start.sh -daemon ../config/server0.properties <br/>
./kafka-server-start.sh -daemon ../config/server1.properties <br/>
./kafka-server-start.sh -daemon ../config/server2.properties

搭建完后通过查看 zk 中的 /brokers/ids，查看是否启动胜利。

2. 正本的概念

正本是对分区的备份。在集群中，不同的正本会被部署在不同的 broker 上。创立 1 个主题，2 个分区、3 个正本，命令如下：

./kafka-topics.sh –create –zookeeper 172.16.253.35:2181 –replication-factor 3 –partitions 2 –topic my-replicated-topic

通过查看主题信息，其中的要害数据：

• replicas：以后正本存在的 broker 节点；
• leader：正本里的概念；
  每个 partition 都有⼀个 broker 作为 leader。
  音讯发送方依据正本的 leader 是在哪个 broker 下面，决定要把音讯发给哪个 broker。正本中的 leader 专门用来接管音讯。
  接管到音讯，其余 follower 通过 poll 的形式来同步数据。
• follower：leader 解决所有针对这个 partition 的读写申请，而 follower 被动复制 leader，不提供读写（次要是为了保障多正本数据与生产的⼀致性），如果 leader 所在的 broker 挂掉了，那么就会进行新 leader 的选举。

通过 kill 掉 leader 后再查看主题状况：

kill 掉 leader <br/>

ps -aux | grep server.properties <br/>
kill 17631 <br/>

查看 topic 状况 <br/>

./kafka-topics.sh –describe –zookeeper 172.16.253.35:2181 –topic my-replicated-topic

• isr：
  能够同步的 broker 节点和已同步的 broker 节点，寄存在 isr 汇合中。

3.broker、主题、分区、正本

kafka 集群中由多个 broker 组成
一个 broker 中寄存一个 topic 的不同 partition——正本

4.kafka 集群音讯的发送

./kafka-console-producer.sh –broker-list 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 –topic my-replicated-topic <br/>

kill 掉 leader <br/>

ps -aux | grep server.properties <br/>
kill 17631 <br/>

查看 topic 状况 <br/>

./kafka-topics.sh –describe –zookeeper 172.16.253.35:2181 –topic myreplicated-topic

5.kafka 集群音讯的生产

./kafka-console-consumer.sh –bootstrap-server 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 –from-beginning –topic my-replicated-topic

6. 对于分区生产组消费者的细节

图中 Kafka 集群有两个 broker，每个 broker 中有多个 partition。一个 partition 只能被一个生产组里的某个消费者生产，从而保障生产程序。Kafka 只在 partition 的范畴内保障音讯生产的部分程序性，不能在同一个 topic 中的多个 partition 中保障总的生产程序性。一个消费者能够生产多个 partition。生产组中消费者的数量不能比一个 topic 中的 partition 数量多，否则多进去的消费者生产不到音讯。