乐趣区

关于golang:kafka集群配置

jiezi

kafka 集群配置

本文 B 站视频教程：https://www.bilibili.com/vide…

关注微信，学习更多 …

zookeeper 集群环境搭建

批改配置文件，增加集群 ip

server.1=192.168.18.128:2888:3888
server.2=192.168.18.138:2888:3888
server.3=192.168.18.148:2888:3888

server.A=B:C:D

A：其中 A 是一个数字，示意这个是服务器的编号；

B：是这个服务器的 ip 地址；

C：Zookeeper 服务器之间的通信端口；

D：Leader 选举的端口。

批改 log data 门路

dataDir=/var/zkdata

创立 myid

在 dataDir 目录上面创立 myid 文件，内容为对应的服务器 id 例如 1 2 3

echo 1 > /var/zkdata/myid

查看集群状态

如果一个为 leader，另外两个为 follower 就对了

有时候须要重启服务器 reboot

启动命令：

zkServer.sh start

查看集群节点状态：

zkServer.sh status

查看以后服务器是 leader 还是 follower

配置 kafka 集群

批改 server.properties 配置文件

  1. 批改 broker.id，每台服务器都不一样，最好跟 zookeeper myid 雷同。
  2. 批改 log.dirs 门路。

  3. 批改 zookeeper 集群门路

    zookeeper.connect=192.168.18.128:2181,192.168.18.138:2181,192.168.18.148:2181

如果 zookeeper 和 kafka 都启动过，删除他们的旧的日志，否则会报如下谬误

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID Reu8ClK3TTywPiNLIQIm1w doesn't match stored clusterId Some(BaPSk1bCSsKFxQQ4717R6Q) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong. at kafka.server.KafkaServer.startup(KafkaServer.scala:220) at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44) at kafka.Kafka$.main(Kafka.scala:84) at kafka.Kafka.main(Kafka.scala)

本文 B 站视频教程：https://www.bilibili.com/vide…

关注微信，学习更多 …

退出移动版