乐趣区

关于云计算:K8S环境快速部署KafkaK8S外部可访问

jiezi

欢送拜访我的 GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，波及 Java、Docker、Kubernetes、DevOPS 等；

如何疾速部署

  1. 借助 Helm，只需大量操作即可部署 kafka；
  2. kafka 和 zookeeper 对存储都有需要，若提前准备了 StorageClass，存储一事则变得非常简略

参考文章

本次实战波及到的 K8S、Helm、NFS、StorageClass 等前置条件，它们的装置和应用请参考：

  1. 《kubespray2.11 装置 kubernetes1.15》
  2. 《部署和体验 Helm(2.16.1 版本)》
  3. 《Ubuntu16 环境装置和应用 NFS》
  4. 《K8S 应用群晖 DS218+ 的 NFS》
  5. 《K8S 的 StorageClass 实战 (NFS)》

环境信息

本次实战的操作系统和软件的版本信息如下：

  1. Kubernetes：1.15
  2. Kubernetes 宿主机：CentOS Linux release 7.7.1908
  3. NFS 服务：IP 地址 <font color=”blue”>192.168.50.135</font>，文件夹 <font color=”blue”>/volume1/nfs-storageclass-test</font>
  4. Helm：2.16.1
  5. Kafka：2.0.1
  6. Zookeeper：3.5.5

接下来的实战之前，请您筹备好：K8S、Helm、NFS、StorageClass；

操作

  1. 增加 helm 仓库 (该仓库中有 kafka)：<font color=”blue”>helm repo add incubator http://storage.googleapis.com…</font>
  2. 下载 kafka 的 chart：<font color=”blue”>helm fetch incubator/kafka</font>
  3. 下载胜利后当前目录有个压缩包：<font color=”blue”>kafka-0.20.8.tgz</font>，解压：<font color=”blue”>tar -zxvf kafka-0.20.8.tgz</font>
  4. 进入解压后的 kafka 目录，编辑 <font color=”blue”>values.yaml</font> 文件，上面是具体的批改点：
  5. 首先要设置在 K8S 之外的也能应用 kafka 服务，批改 <font color=”blue”>external.enabled</font> 的值，改为 <font color=”red”>true</font>：

  1. 找到 <font color=”blue”>configurationOverrides</font>，下图两个黄框中的内容本来是正文的，请删除正文符号，另外，如果您之前设置过跨网络拜访 kafka，就能了解上面写入 K8S 宿主机 IP 的起因了：

  1. 接下来设置数据卷，找到 <font color=”blue”>persistence</font>，按须要调整大小，再设置已筹备好的 <font color=”blue”>storageclass</font> 的名称：

  1. 再设置 zookeeper 的数据卷：

  1. 设置实现，开始部署，先创立 namespace，执行：<font color=”blue”>kubectl create namespace kafka-test</font>
  2. 在 kafka 目录下执行：<font color=”blue”>helm install –name-template kafka -f values.yaml . –namespace kafka-test</font>
  3. 如果后面的配置没有问题，控制台提醒如下所示：

  1. kafka 启动依赖 zookeeper，整个启动会耗时数分钟，期间可见 zookeeper 和 kafka 的 pod 逐步启动：

  1. 查看服务：kubectl get services -n kafka-test，如下图红框所示，通过 <font color=”blue”> 宿主机 IP:31090、宿主机 IP:31091、宿主机 IP:31092</font> 即可从内部拜访 kafka：

  1. 查看 kafka 版本：<font color=”blue”>kubectl exec kafka-0 -n kafka-test — sh -c ‘ls /usr/share/java/kafka/kafka_*.jar'</font>，如下图红框所示，scala 版本 <font color=”red”>2.11</font>，kafka 版本 <font color=”red”>2.0.1</font>：

  1. kafka 启动胜利后，咱们来验证服务是否失常；

对外裸露 zookeeper

  1. 为了近程操作 kafka，有时须要连贯到 zookeeper，所以须要将 zookeeper 也裸露进去；
  2. 创立文件 <font color=”blue”>zookeeper-nodeport-svc.yaml</font>，内容如下：
apiVersion: v1
kind: Service
metadata:
  name: zookeeper-nodeport
  namespace: kafka-test
spec:
  type: NodePort
  ports:
       - port: 2181
         nodePort: 32181
  selector:
    app: zookeeper
    release: kafka
  1. 执行命令：<font color=”blue”>kubectl apply -f zookeeper-nodeport-svc.yaml</font>
  2. 查看服务，发现曾经能够通过 <font color=”blue”> 宿主机 IP:32181</font> 拜访 zookeeper 了，如下图：

验证 kafka 服务

找一台电脑装置 kafka 包，就能通过外面自带的命令近程连贯和操作 K8S 的 kafka 了：

  1. 拜访 kafka 官网：<font color=”blue”>http://kafka.apache.org/downl…</font>，方才确定了 scala 版本 <font color=”red”>2.11</font>，kafka 版本 <font color=”red”>2.0.1</font>，因而下载下图红框中的版本：

  1. 下载后解压，进入目录 <font color=”blue”>kafka_2.11-2.0.1/bin</font>
  2. 查看以后 topic：
./kafka-topics.sh --list --zookeeper 192.168.50.135:32181

如下图，空洞无物：

  1. 创立 topic：
./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001

如下图，创立胜利后再查看 topic 终于有内容了：

  1. 查看名为 test001 的 topic：
./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001

  1. 进入创立音讯的交互模式：
./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001

进入交互模式后，输出任何字符串再输出回车，就会将以后内容作为一条音讯发送进来：

  1. 再关上一个窗口，执行命令生产音讯：
./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning

  1. 再关上一个窗口，执行命令查看消费者 group：
./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list

如下图可见 groupid 等于 <font color=”red”>console-consumer-21022</font>

  1. 执行命令查看 groupid 等于 console-consumer-21022 的生产状况：
./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090

如下图所示：


近程连贯 kafka 体验基本功能结束，查看、收发音讯都失常，证实本次部署胜利；

kafkacat 连贯

  1. kafkacat 是个客户端工具，我这里是在 MacBook Pro 上用 brew 装置的；
  2. 我这里 K8S 服务器 IP 是 <font color=”blue”>192.168.50.135</font>，因而执行此命令查看 kafka 信息：<font color=”blue”>kafkacat -b 192.168.50.135:31090 -L</font>，如下图，能够看到 broker 信息，以及 topic 信息 (一个是 test001，还有一个是 consumer 的 offset)，把端口换成 <font color=”red”>31091</font> 和 <font color=”red”>31092</font> 会连贯到另外两个 broker，也能失去雷同信息：

清理资源

本次实战创立了很多资源：rbac、role、serviceaccount、pod、deployment、service，上面的脚本能够将这些资源清理掉 (只剩 NFS 的文件没有被清理掉)：

helm del --purge kafka
kubectl delete service zookeeper-nodeport -n kafka-test
kubectl delete storageclass managed-nfs-storage
kubectl delete deployment nfs-client-provisioner -n kafka-test
kubectl delete clusterrolebinding run-nfs-client-provisioner
kubectl delete serviceaccount nfs-client-provisioner -n kafka-test
kubectl delete role leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete clusterrole nfs-client-provisioner-runner
kubectl delete namespace kafka-test

至此，K8S 环境部署和验证 kafka 的实战就实现了，心愿能给您提供一些参考；

欢送关注公众号：程序员欣宸

微信搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游 Java 世界 …
https://github.com/zq2599/blog_demos

退出移动版