乐趣区

关于java:Kafka集群搭建

jiezi

Kafka 集群搭建

筹备工作

  • Kafka 依赖 ZooKeeper，所以须要提前装置好 ZooKeeper , 启动单机的 zk 即可。对于装置 ZooKeeper 的流程能够参考我之前写的：ZooKeeper 集群搭建
  • 下载 Kafka 官网下载地址: https://kafka.apache.org/down…

单机模式

解压安装包

解压咱们下载的安装包；解压后进到 kafka 的目录 

tar -xvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0

启动 kafka

启动之前要先启动 zk。如果你的 zk 是在本地跑的且端口是默认的 2181，无需批改配置文件；否则，你须要批改一下配置文件：

在 config/server.properties 文件中 批改 zookeeper.connect 配置项为你的 zk 的地址即可。

比方我的 zk 集群搭在 3 个虚拟机节点上，我这里须要批改为：

zookeeper.connect=192.168.199.238:2181,192.168.199.239:2181,192.168.199.240:2181
bin/kafka-server-start.sh config/server.properties


// 启动胜利的日志：// ......
// ......
// INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

测试一下 kafka 的应用

新开一个 terminal，创立一个名叫 test 的 topic：

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
Created topic test.

// 列出来 kafka 中的 topic
> bin/kafka-topics.sh --list --bootstrap-server localhost:9092
test

应用 producer 发送音讯：

> bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test

// 发送的音讯：>ceshi
>test

再新开一个 terminal，应用消费者接管一下音讯：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

// 接管到的音讯：ceshi
test

能够看到，方才 prodcuer 发的两条音讯这边都打印进去了。单机的 kafka 就算实现了。接下来开始搭建 3 个节点的 kafka 集群。

集群搭建

筹备工作

  • 筹备 3 个节点，这里应用了 3 个虚拟机节点，我这里筹备了 192.168.199.238 192.168.199.239 192.168.199.240 3 个节点
  • 3 个节点都筹备好 kafka 的安装包，并解压，具体命令参考上述 单机模式 的命令

批改配置文件

次要批改三项配置：

  • broker.id 这个是必须要改的，且必须是个整形。须要放弃惟一。这里 238 对应 0，239 对应 1，240 对应 2

  • listeners , 这个也是必填的，默认是没有配置这一项的，正文掉了

    • 238 节点配置：listeners=PLAINTEXT://192.168.199.238:9092
    • 239 节点配置：listeners=PLAINTEXT://192.168.199.239:9092
    • 240 节点配置：listeners=PLAINTEXT://192.168.199.240:9092
  • log.dirs 这个门路默认是在 /tmp 下的，咱们改掉它，我改到了 /data/kafka-logs , 能够依据本人的习惯改，或者抉择不改它
  • zookeeper.connect 这个是 zk 的集群地址，能够依据本人的状况批改

启动 kafka

3 个节点别离执行启动命令：

bin/kafka-server-start.sh config/server.properties

测试一下

创立一个 topic：

  • replication-factor 3 复制三份
  • partitions 1 一个分区 
> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic repl-test
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Created topic repl-test.

查看一下方才创立的 topic 的状态 ：

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic repl-test
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic: repl-test        PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: repl-test        Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2

测试一下发送音讯 ：

> bin/kafka-console-producer.sh --bootstrap-server 192.168.199.239:9092 --topic repl-test-topic

// 发送的音讯：>test message 1
>test message 2

测试一下接管音讯 ：

> bin/kafka-console-consumer.sh --bootstrap-server 192.168.199.239:9092 --from-beginning --topic repl-test
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

// 接管到的音讯：test message 1
test message 2

接管音讯也没问题了。

测试容灾 ：

这里我把方才 producer 和 consumer 连贯的 239 节点给干掉，能够看到 consumer 的日志打印, 曾经主动切换到了 238 节点上：

 WARN [Consumer clientId=consumer-console-consumer-43719-1, groupId=console-consumer-43719] Connection to node 0 (/192.168.199.238:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

再次测试发送音讯接管音讯：

producer 也打印了切换节点的日志：

WARN [Producer clientId=console-producer] Connection to node 0 (/192.168.199.238:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

// producer：>test meesage 3

// consumer：test meesage 3

总结

Kafka 作为音讯队列，在我的项目中也是很重要的一个局部，是要必须要把握的。

这里简略的总结一下集群搭建的流程，总体来说也是不难，参考官网文档能够很顺利的走下来，官网案例是在一台主机上启动了多个实例来搭建的伪集群，只有把握了几个要害的中央，搭建一个真·集群也是非常容易的。

参考：

kafka quickstart

退出移动版