Kafka集群搭建

筹备工作

  • Kafka 依赖 ZooKeeper ，所以须要提前装置好 ZooKeeper ,启动单机的zk即可 。对于装置ZooKeeper的流程能够参考我之前写的：ZooKeeper集群搭建
  • 下载 Kafka 官网下载地址: https://kafka.apache.org/down...

单机模式

解压安装包

解压咱们下载的安装包；解压后进到kafka的目录

tar -xvf kafka_2.13-2.5.0.tgzcd kafka_2.13-2.5.0

启动kafka

启动之前要先启动zk。 如果你的zk是在本地跑的且端口是默认的2181，无需批改配置文件；否则，你须要批改一下配置文件：

在 config/server.properties 文件中 批改 zookeeper.connect 配置项为你的zk的地址即可。

比方我的zk集群搭在3个虚拟机节点上，我这里须要批改为：

zookeeper.connect=192.168.199.238:2181,192.168.199.239:2181,192.168.199.240:2181
bin/kafka-server-start.sh config/server.properties// 启动胜利的日志：// ......// ......// INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

测试一下kafka的应用

新开一个terminal ，创立一个名叫 test 的topic：

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic testCreated topic test.// 列出来kafka中的topic> bin/kafka-topics.sh --list --bootstrap-server localhost:9092test

应用producer发送音讯：

> bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test// 发送的音讯：>ceshi>test

再新开一个terminal ，应用消费者接管一下音讯：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning// 接管到的音讯：ceshitest

能够看到，方才prodcuer发的两条音讯这边都打印进去了。单机的kafka就算实现了。接下来开始搭建3个节点的kafka集群。

集群搭建

筹备工作

  • 筹备3个节点 ，这里应用了3个虚拟机节点 ，我这里筹备了 192.168.199.238 192.168.199.239 192.168.199.240 3个节点
  • 3个节点都筹备好kafka的安装包，并解压 ，具体命令参考上述 单机模式 的命令

批改配置文件

次要批改三项配置：

  • broker.id 这个是必须要改的，且必须是个整形。须要放弃惟一 。这里238对应 0，239对应1，240对应2

  • listeners ,这个也是必填的，默认是没有配置这一项的，正文掉了

    • 238节点配置 ：listeners=PLAINTEXT://192.168.199.238:9092
    • 239节点配置 ：listeners=PLAINTEXT://192.168.199.239:9092
    • 240节点配置 ：listeners=PLAINTEXT://192.168.199.240:9092
  • log.dirs 这个门路默认是在 /tmp 下的，咱们改掉它，我改到了 /data/kafka-logs ,能够依据本人的习惯改，或者抉择不改它
  • zookeeper.connect 这个是zk的集群地址，能够依据本人的状况批改

启动kafka

3个节点别离执行启动命令：

bin/kafka-server-start.sh config/server.properties

测试一下

创立一个topic：

  • replication-factor 3 复制三份
  • partitions 1 一个分区
> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic repl-testOpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=NCreated topic repl-test.

查看一下方才创立的topic的状态：

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic repl-testOpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=NTopic: repl-test        PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824        Topic: repl-test        Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2

测试一下发送音讯：

> bin/kafka-console-producer.sh --bootstrap-server 192.168.199.239:9092 --topic repl-test-topic// 发送的音讯： >test message 1>test message 2

测试一下接管音讯：

> bin/kafka-console-consumer.sh --bootstrap-server 192.168.199.239:9092 --from-beginning --topic repl-testOpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N// 接管到的音讯：test message 1test message 2

接管音讯也没问题了。

测试容灾：

这里我把方才producer 和 consumer 连贯的 239节点给干掉，能够看到 consumer的日志打印,曾经主动切换到了238节点上：

 WARN [Consumer clientId=consumer-console-consumer-43719-1, groupId=console-consumer-43719] Connection to node 0 (/192.168.199.238:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

再次测试发送音讯接管音讯：

producer也打印了切换节点的日志：

WARN [Producer clientId=console-producer] Connection to node 0 (/192.168.199.238:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)// producer ：>test meesage 3// consumer：test meesage 3

总结

Kafka 作为音讯队列，在我的项目中也是很重要的一个局部，是要必须要把握的。

这里简略的总结一下集群搭建的流程，总体来说也是不难，参考官网文档能够很顺利的走下来，官网案例是在一台主机上启动了多个实例来搭建的伪集群，只有把握了几个要害的中央，搭建一个真·集群也是非常容易的。

参考：

kafka quickstart