mac-使用-docker-搭建-kafka-集群

Kafka 搭建:

建立 Zookeeper 容器:

这里我们用最简单的方式创建一个独立的 Zookeeper 节点，如果要考虑 zookeeper 的高可用，可以将其做成一个集群，最好是能有多台机器。

$ docker run -d –name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

默认的，容器内配置文件在，/conf/zoo.cfg，数据和日志目录默认在 /data 和 /datalog，需要的话可以将上述目录映射到宿主机的可靠文件目录下。

建立 kafka 集群节点:

使用 docker 命令可快速在同一台机器搭建多个 kafka，只需要改变 brokerId 和端口

• 节点 1:

$ docker run -d –name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

• 节点 2:

$ docker run -d –name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

• 节点 3:

$ docker run -d –name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

这里面主要设置了 4 个参数

KAFKA_BROKER_ID=0               
KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092

中间两个参数的 192.168.0.102 改为 宿主机器 的 IP 地址，如果不这么设置，可能会导致在别的机器上访问不到 kafka。

怎么查看本机的 ip:

$ ifconfig en0

测试 kafka:

• 进入 kafka 容器的命令行

$ docker exec -ti kafka /bin/bash

• 进入 kafka 所在目录

$ cd opt/kafka_2.12-1.1.0/

创建 Replication 为 2，Partition 为 2 的 topic:

$ bin/kafka-topics.sh –create –zookeeper 192.168.0.102:2181 –replication-factor 2 –partitions 2 –topic partopic

或者可以通过 kafka-manager 创建

查看 topic 的状态:

在 kafka 容器中的 opt/kafka_2.12-1.1.0/ 目录下输入

$ bin/kafka-topics.sh –describe –zookeeper 192.168.0.102:2181 –topic partopic

显示每个分区的 Leader 机器为 broker0，在 broker0 和 1 上具有备份，Isr 代表存活的备份机器中存活的。
当停掉 kafka1 后，

$ docker stop kafka1

再查看 topic 状态，输出结果：

Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: partopic Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0
    Topic: partopic Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0

创建 Kafka 管理节点:

kafka-manager 有图形化 UI，可以方便的监控集群状态，调整队列配置

$ docker run -itd –restart=always –name=kafka-manager -p 9000:9000 -e ZK_HOSTS=”192.168.0.102:2181″ sheepkiller/kafka-manager

容器启动以后访问主机的 9000 端口，0.0.0:9000

首次进入需要添加一个集群标识，如下图所示

配置好以后，通过 Zookeeper 该管理节点可以读取到整个 Kafka 集群的信息，并且我们可以通过 JMX 直接看到集群的健康状态

也可以看到主题的读写速度，偏移量等信息，如下图所示：

Brokers ,Partitions,Replicas 都能看到

以及 group:

参考文章:

https://blog.csdn.net/lblblblblzdx/article/details/80548157

https://blog.csdn.net/lblblblblzdx/article/details/80548294

原文链接：https://www.zhanggaoyuan.com/article/6

原文标题：[mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager]

本站使用「署名 - 非商业性使用 4.0 国际 (CC BY-NC 4.0)」创作共享协议，转载或使用请署名并注明出处。
本篇文章由一文多发平台 ArtiPub 自动发布