欢送拜访我的GitHub
https://github.com/zq2599/blog_demos
内容：所有原创文章分类汇总及配套源码，波及Java、Docker、Kubernetes、DevOPS等；
如何疾速部署
- 借助Helm，只需大量操作即可部署kafka；
- kafka和zookeeper对存储都有需要，若提前准备了StorageClass，存储一事则变得非常简略
参考文章
本次实战波及到的K8S、Helm、NFS、StorageClass等前置条件，它们的装置和应用请参考：
- 《kubespray2.11装置kubernetes1.15》
- 《部署和体验Helm(2.16.1版本)》
- 《Ubuntu16环境装置和应用NFS》
- 《K8S应用群晖DS218+的NFS》
- 《K8S的StorageClass实战(NFS)》
环境信息
本次实战的操作系统和软件的版本信息如下：
- Kubernetes：1.15
- Kubernetes宿主机：CentOS Linux release 7.7.1908
- NFS服务：IP地址<font color="blue">192.168.50.135</font>，文件夹<font color="blue">/volume1/nfs-storageclass-test</font>
- Helm：2.16.1
- Kafka：2.0.1
- Zookeeper：3.5.5
接下来的实战之前，请您筹备好：K8S、Helm、NFS、StorageClass；
操作
- 增加helm仓库(该仓库中有kafka)：<font color="blue">helm repo add incubator http://storage.googleapis.com...</font>
- 下载kafka的chart：<font color="blue">helm fetch incubator/kafka</font>
- 下载胜利后当前目录有个压缩包：<font color="blue">kafka-0.20.8.tgz</font>，解压：<font color="blue">tar -zxvf kafka-0.20.8.tgz</font>
- 进入解压后的kafka目录，编辑<font color="blue">values.yaml</font>文件，上面是具体的批改点：
- 首先要设置在K8S之外的也能应用kafka服务，批改<font color="blue">external.enabled</font>的值，改为<font color="red">true</font>：
- 找到<font color="blue">configurationOverrides</font>，下图两个黄框中的内容本来是正文的，请删除正文符号，另外，如果您之前设置过跨网络拜访kafka，就能了解上面写入K8S宿主机IP的起因了：
- 接下来设置数据卷，找到<font color="blue">persistence</font>，按须要调整大小，再设置已筹备好的<font color="blue">storageclass</font>的名称：
- 再设置zookeeper的数据卷：
- 设置实现，开始部署，先创立namespace，执行：<font color="blue">kubectl create namespace kafka-test</font>
- 在kafka目录下执行：<font color="blue">helm install --name-template kafka -f values.yaml . --namespace kafka-test</font>
- 如果后面的配置没有问题，控制台提醒如下所示：
- kafka启动依赖zookeeper，整个启动会耗时数分钟，期间可见zookeeper和kafka的pod逐步启动：
- 查看服务：kubectl get services -n kafka-test，如下图红框所示，通过<font color="blue">宿主机IP:31090、宿主机IP:31091、宿主机IP:31092</font>即可从内部拜访kafka：
- 查看kafka版本：<font color="blue">kubectl exec kafka-0 -n kafka-test -- sh -c 'ls /usr/share/java/kafka/kafka_*.jar'</font> ，如下图红框所示，scala版本<font color="red">2.11</font>，kafka版本<font color="red">2.0.1</font>：
- kafka启动胜利后，咱们来验证服务是否失常；
对外裸露zookeeper
- 为了近程操作kafka，有时须要连贯到zookeeper，所以须要将zookeeper也裸露进去；
- 创立文件<font color="blue">zookeeper-nodeport-svc.yaml</font>，内容如下：
apiVersion: v1kind: Servicemetadata: name: zookeeper-nodeport namespace: kafka-testspec: type: NodePort ports: - port: 2181 nodePort: 32181 selector: app: zookeeper release: kafka- 执行命令：<font color="blue">kubectl apply -f zookeeper-nodeport-svc.yaml</font>
- 查看服务，发现曾经能够通过<font color="blue">宿主机IP:32181</font>拜访zookeeper了，如下图：
验证kafka服务
找一台电脑装置kafka包，就能通过外面自带的命令近程连贯和操作K8S的kafka了：
- 拜访kafka官网：<font color="blue">http://kafka.apache.org/downl...</font> ，方才确定了scala版本<font color="red">2.11</font>，kafka版本<font color="red">2.0.1</font>，因而下载下图红框中的版本：
- 下载后解压，进入目录<font color="blue">kafka_2.11-2.0.1/bin</font>
- 查看以后topic：
./kafka-topics.sh --list --zookeeper 192.168.50.135:32181如下图，空洞无物：
- 创立topic：
./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001如下图，创立胜利后再查看topic终于有内容了：
- 查看名为test001的topic：
./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001- 进入创立音讯的交互模式：
./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001进入交互模式后，输出任何字符串再输出回车，就会将以后内容作为一条音讯发送进来：
- 再关上一个窗口，执行命令生产音讯：
./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning- 再关上一个窗口，执行命令查看消费者group：
./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list如下图可见groupid等于<font color="red">console-consumer-21022</font>
- 执行命令查看groupid等于console-consumer-21022的生产状况：
./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090如下图所示：
近程连贯kafka体验基本功能结束，查看、收发音讯都失常，证实本次部署胜利；
kafkacat连贯
- kafkacat是个客户端工具，我这里是在MacBook Pro上用brew装置的；
- 我这里K8S服务器IP是<font color="blue">192.168.50.135</font>，因而执行此命令查看kafka信息：<font color="blue">kafkacat -b 192.168.50.135:31090 -L</font>，如下图，能够看到broker信息，以及topic信息(一个是test001，还有一个是consumer的offset)，把端口换成<font color="red">31091</font>和<font color="red">31092</font>会连贯到另外两个broker，也能失去雷同信息：
清理资源
本次实战创立了很多资源：rbac、role、serviceaccount、pod、deployment、service，上面的脚本能够将这些资源清理掉(只剩NFS的文件没有被清理掉)：
helm del --purge kafkakubectl delete service zookeeper-nodeport -n kafka-testkubectl delete storageclass managed-nfs-storagekubectl delete deployment nfs-client-provisioner -n kafka-testkubectl delete clusterrolebinding run-nfs-client-provisionerkubectl delete serviceaccount nfs-client-provisioner -n kafka-testkubectl delete role leader-locking-nfs-client-provisioner -n kafka-testkubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-testkubectl delete clusterrole nfs-client-provisioner-runnerkubectl delete namespace kafka-test至此，K8S环境部署和验证kafka的实战就实现了，心愿能给您提供一些参考；
欢送关注公众号：程序员欣宸
微信搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游Java世界...
https://github.com/zq2599/blog_demos