起源:https://qingmu.io/2020/04/08/...
前言
在Kubernetes中部署spring boot利用整体上来说是一件比拟繁琐的事件,而Spring Boot Operator则能带给你更清新简略的体验。
Spring Boot Operator基于Kubernetes的custom resource definitions (CRDs)扩大API进行的开发。
打包Docker镜像
在讲部署之前咱们须要先将咱们的SpringBoot利用打包成规范的DockerImage。
Spring Boot 根底就不介绍了,举荐下这个实战教程:
https://www.javastack.cn/cate...
java我的项目打包镜像用maven/gradle插件比拟多,我的另一篇文章构建SpringBoot的Docker镜像,这里在介绍一个新的google开源的插件Jib,该插件应用起来比拟不便。
留神:jib打包的镜像会导致java利用的pid=1,在应用SpringBootOperator进行公布时候,Operator会设置kubernetes的ShareProcessNamespace参数为true(v1.10+版本都可应用)来解决该问题。
上面就来演示一下咱们通过https://start.spring.io生成一个规范的SpringBoot我的项目operator-demo,而后应用jib插件进行镜像打包
scriptmvn com.google.cloud.tools:jib-maven-plugin:build \-Djib.to.auth.username=${{ secrets.MY_USERNAME }} \-Djib.to.auth.password=${{ secrets.MY_PASSWORD }} \-Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED \-Djib.from.image=freemanliu/oprenjre:11.0.5 \-Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0
执行下面的命令之后咱们将失去一个规范的docker镜像,该镜像会被推送到近程仓库。
Operator疾速体验
实现了镜像的构建之后,咱们紧接着来装置咱们的Operator到kubernetes集群,当然了首先你须要一套集群,能够参考我之前一篇文章部署高可用kubernetes,尽管版本比拟老,然而新版本其实也差不多的一个思路。
疾速装置
此处疾速装置只是为了疾速体验demo
scriptkubectl apply -f https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yaml
apply胜利之后控制台输入
namespace/spring-boot-operator-system createdcustomresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io createdrole.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role createdclusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role createdclusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role createdclusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader createdrolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding createdclusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding createdclusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding createdservice/spring-boot-operator-controller-manager-metrics-service createddeployment.apps/spring-boot-operator-controller-manager created
稍等片刻查看是否曾经装置胜利
scriptkubectl get po -n spring-boot-operator-system
胜利如下输入
NAME READY STATUS RESTARTS AGEspring-boot-operator-controller-manager-7f498596bb-wcwtn 2/2 Running 0 2m15s
部署OperatorDemo利用
实现了Operator的部署之后,咱们来部署咱们第一个利用,这里咱们就公布下面咱们编写的springboot利用opreator-demo。
首先咱们须要先编写一个Spring Boot Application 的CRD部署yaml,如下
# Demo.yamlapiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata: name: operator-demo spec: springBoot: version: v1.0.0# image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0
仔细的同学可能发现了,为啥连Image
都没有?这怎么公布,就name,version,就能实现公布?是的没错!就能实现公布,前面我讲具体讲到他是如何实现的。
接着咱们apply一下
scriptkubectl apply -f Demo.yaml
看到console输入
springbootapplication.springboot.qingmu.io/operator-demo created
验证
示意创立胜利了,接着咱们来看下咱们部署的第一个利用,这里咱们间接用下面的yaml中的name过滤即可。
查看pod
script~# kubectl get po | grep operator-demooperator-demo-7574f4789c-mg58m 1/1 Running 0 76soperator-demo-7574f4789c-ssr8v 1/1 Running 0 76soperator-demo-7574f4789c-sznww 1/1 Running 0 76s
查看下咱们的pid不等于1的设置是否失效,依据上面的后果能够看到通过设置ShareProcessNamespace该参数咱们能够在Kubernetes层面来解决这个pid=1的问题。
scriptkubectl exec -it operator-demo-7574f4789c-mg58m bashbash-5.0# ps -efUID PID PPID C STIME TTY TIME CMDroot 1 0 0 02:06 ? 00:00:00 /pauseroot 6 0 26 02:06 ? 00:00:09 java --add-opens java.base/sun.nio.ch=ALL-UNNAMED -cp /app/resources:/app/classes:/app/libs/* io.qingmu.operator.operatordemo.Oper...root 38 0 0 02:07 pts/0 00:00:00 bashroot 44 38 0 02:07 pts/0 00:00:00 ps -ef
查看svc
script~# kubectl get svc | grep operator-demooperator-demo ClusterIP 10.101.128.6 <none> 8080/TCP 2m52s
咱们来拜访一下试试。
scriptroot@server1:~# curl -i http://10.101.128.6:8080HTTP/1.1 200 Content-Type: text/plain;charset=UTF-8Content-Length: 9Date: Wed, 08 Apr 2020 08:45:46 GMThello !!!
咱们来试着缩减他的正本数到1个
编辑咱们的Demo.yaml,退出一个新的属性replicas
# Demo.yamlapiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata: name: operator-demo spec: springBoot: version: v1.0.0 replicas: 1
利用一下
scriptroot@server1:~# kubectl apply -f Demo.yaml springbootapplication.springboot.qingmu.io/operator-demo configured
再次查看pod,你会发现咱们的pod曾经缩放为一个正本了
script~# kubectl get po | grep operator-demooperator-demo-7574f4789c-sznww 1/1 Running 0 8m29s
清理operator-demo
要删除该pod 咱们只须要执行delete即可
script~# kubectl delete -f Demo.yaml springbootapplication.springboot.qingmu.io "operator-demo" deleted
再次查看pod,曾经没了
scriptkubectl get po | grep operator-demo
部署本人的利用
部署本人公有仓库的利用须要须要先创立secret(如果曾经创立跳过即可)
创立docker-registry的secret
scriptkubectl create \secret docker-registry aliyun-registry-secret \--docker-server=registry-vpc.cn-hangzhou.aliyuncs.com \--docker-username=*** \--docker-password=*** \--docker-email=***
本人利用的crd Yaml
apiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata: name: 你的利用的名称spec: springBoot: version: v1.0.0 replicas: 1 image: 你的image地址 imagePullSecrets: - 下面创立的secret
一个残缺的Spring Boot Application Yaml
上面是一个残缺的yaml属性构造,大部分属性咱们都能够用默认配置的即可。
不设置属性,默认应用Operator中设置的通用值详见前面的自定义装置Operator。
Spring Boot 根底就不介绍了,举荐下这个实战教程:
https://www.javastack.cn/cate...
apiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata: name: operator-demo namespace: defaultspec: springBoot: # image 能够不设置,如果不设置默认应用 IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version # registry.cn-shanghai.aliyuncs.com/qingmuio + / + operator-demo + : + v1.0.0 image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0 clusterIp: "" version: v1.0.0 replicas: 1 resource: cpu: request: 50m limit: "" memory: request: 1Gi limit: 1Gi path: liveness: /actuator/health readiness: /actuator/health hostLog: /var/applog shutdown: /spring/shutdown imagePullSecrets: - aliyun-docker-registry-secret env: - name: EUREKA_SERVERS value: http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/ nodeAffinity: key: "failure-domain.beta.kubernetes.io/zone" operator: "In" values: - "cn-i" - "cn-h" - "cn-g"
优雅停机的门路
因为优雅停机默认是敞开的并且并不反对Get申请所以咱们须要开启和搭个桥
首先在application.yml
中启用
management: endpoints: web: exposure: include: "*" endpoint: shutdown: enabled: true
而后桥接一个Get办法
@RestControllerpublic class ShutdownController { @Autowired private ShutdownEndpoint shutdownEndpoint; @GetMapping("/spring/shutdown") public Map<String, String> shutdown(HttpServletRequest request) { return shutdownEndpoint.shutdown(); }}
node亲和的应用
举一个列子 咱们有一个springboot利用 user-service 心愿他能散布到3个可用区的6个节点上:
首先咱们把机器划分多个可用区
cn-i区(node-i1,node-i02)cn-h区(node-g1,node-g02)cn-g区(node-h1,node-h02)
当初咱们有三个能够区 每个区有2台workload,一共6台。而后咱们须要给这些机器别离打上label。
将全副的i区机器标注为cn-i
scriptkubectl label node node-i1 failure-domain.beta.kubernetes.io/zone=cn-ikubectl label node node-i2 failure-domain.beta.kubernetes.io/zone=cn-i
同理将h区的标注为h,g区同理
scriptkubectl label node node-h1 failure-domain.beta.kubernetes.io/zone=cn-ikubectl label node node-ih2 failure-domain.beta.kubernetes.io/zone=cn-i
当初筹备工作咱们就绪了,当初咱们来设置让它达到咱们的调度成果,像如下编写即可。
spec: springBoot: nodeAffinity: #能够不设置 节点亲和 这里演示的是尽量将pod扩散到 i h g 三个可用区,默认设置了pod反亲和 key: "failure-domain.beta.kubernetes.io/zone" operator: "In" values: - "cn-i" - "cn-h" - "cn-g"
Operator 自定义装置
下面咱们疾速的装置了好了,接着咱们来解说下如何自定义装置,以及有哪些自定义的参数,能够个性化的参数咱们用环境变量的形式注入。
上面来批改Deployment
实现本人个性化的配置部署,从我提供的部署yaml中拉倒最初,找到name是spring-boot-operator-controller-manager
的Deployment,咱们将批改它。
apiVersion: apps/v1kind: Deploymentmetadata: labels: control-plane: controller-manager name: spring-boot-operator-controller-manager namespace: spring-boot-operator-system..... #留神:一下配置针对通用全局的spring boot默认配置,对crd的spring boot失效,这里不配置也能够在部署的yaml中指定 # 公有仓库的地址,比方我的最终打包的镜像地址是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0 # 那么配置的值是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo # 配置这个值之后,咱们咱们如果在公布的yaml中不写image,那么应用的image就是 IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version - name: IMAGE_REPOSITORY value: registry.cn-shanghai.aliyuncs.com/qingmuio # 申请CPU限度 - name: REQUEST_CPU value: 50m # 限度最大能用最大CPU java利用能够不必限度,限度不合理会导致启动异样迟缓 - name: LIMIT_CPU value: "" # 申请内存大小 - name: REQUEST_MEMORY value: 500Mi # 限度最大内存大小 个别和request一样大即可 - name: LIMIT_MEMORY value: 500Mi # 就绪查看Path,spring boot actuator 默认Path - name: READINESS_PATH value: /actuator/health # 就绪存活Path,spring boot actuator 默认Path - name: LIVENESS_PATH value: /actuator/health # 就绪存活Path,优雅停机Path - name: SHUTDOWN_PATH value: /spring/shutdown # 复制级 即正本数 - name: REPLICAS value: "3" # 将日志外挂到主机磁盘Path,默认两者雷同 - name: HOST_LOG_PATH value: /var/applog # 用于pull 镜像的secrets - name: IMAGE_PULL_SECRETS value: "" # 用于pull 镜像的secrets - name: SPRING_BOOT_DEFAULT_PORT value: "8080" # node亲和,比方我能够设置pod尽量扩散在不同可用区cn-i,cn-g,cn-h区 - name: NODE_AFFINITY_KEY value: "" - name: NODE_AFFINITY_OPERATOR value: "" - name: NODE_AFFINITY_VALUES value: "" # 全局的环境变量,会追加到每个spring boot的每个pod中,格局 k=v;k1=v2, # 如 EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v - name: SPRING_BOOT_ENV value: "" image: registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest.....
自定义装置之后部署
yaml能够简化为如下。
apiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata: name: 你的利用的名称spec: springBoot: version: v1.0.0
附录
环境变量表格
环境变量名 | 是否能够空 | 默认值 | 阐明 |
---|---|---|---|
IMAGE_REPOSITORY | true | “” | 公有仓库的地址 |
REQUEST_CPU | true | 50m | 申请CPU限度 |
LIMIT_CPU | true | “” | 限度最大能用最大CPU java利用能够不必限度,限度不合理会导致启动异样迟缓 |
REQUEST_MEMORY | true | 2Gi | 申请内存大小 |
LIMIT_MEMORY | true | 2Gi | 限度最大内存大小 个别和request一样大即可 |
READINESS_PATH | true | /actuator/health | 就绪查看Path,spring boot actuator 默认Path |
LIVENESS_PATH | true | /actuator/health | 存活查看Path,spring boot actuator 默认Path |
SHUTDOWN_PATH | true | /spring/shutdown | 就绪存活Path,优雅停机Path |
REPLICAS | true | 3 | 正本数 |
HOST_LOG_PATH | true | /var/applog | 将日志外挂到主机磁盘Path,默认两者雷同 |
IMAGE_PULL_SECRETS | true | 无 | 用于pull 镜像的secrets |
SPRING_BOOT_DEFAULT_PORT | true | 8080 | 用于pull 镜像的secrets |
NODE_AFFINITY_KEY | true | “” | node亲和key,比方我能够设置pod尽量扩散在不同可用区cn-i,cn-g,cn-h区 |
NODE_AFFINITY_OPERATOR | true | “” | node亲和操作符 |
NODE_AFFINITY_VALUES | true | “” | node亲和value |
SPRING_BOOT_ENV | true | “” | 全局的环境变量,会追加到每个spring boot的每个pod中,格局 k=v;k1=v2 |
近期热文举荐:
1.1,000+ 道 Java面试题及答案整顿(2021最新版)
2.别在再满屏的 if/ else 了,试试策略模式,真香!!
3.卧槽!Java 中的 xx ≠ null 是什么新语法?
4.Spring Boot 2.6 正式公布,一大波新个性。。
5.《Java开发手册(嵩山版)》最新公布,速速下载!
感觉不错,别忘了顺手点赞+转发哦!