关于java:在K8S-中部署-Spring-Boot-应用爽

5次阅读

共计 9603 个字符，预计需要花费 25 分钟才能阅读完成。

起源：https://qingmu.io/2020/04/08/…

在 Kubernetes 中部署 spring boot 利用整体上来说是一件比拟繁琐的事件，而 Spring Boot Operator 则能带给你更清新简略的体验。

Spring Boot Operator 基于 Kubernetes 的 custom resource definitions (CRDs)扩大 API 进行的开发。

在讲部署之前咱们须要先将咱们的 SpringBoot 利用打包成规范的 DockerImage。

Spring Boot 根底就不介绍了，举荐下这个实战教程：
https://www.javastack.cn/cate…

java 我的项目打包镜像用 maven/gradle 插件比拟多，我的另一篇文章构建 SpringBoot 的 Docker 镜像，这里在介绍一个新的 google 开源的插件 Jib，该插件应用起来比拟不便。

留神：jib 打包的镜像会导致 java 利用的 pid=1，在应用 SpringBootOperator 进行公布时候，Operator 会设置 kubernetes 的 ShareProcessNamespace 参数为 true（v1.10+ 版本都可应用）来解决该问题。

上面就来演示一下咱们通过 https://start.spring.io 生成一个规范的 SpringBoot 我的项目 operator-demo, 而后应用 jib 插件进行镜像打包

scriptmvn com.google.cloud.tools:jib-maven-plugin:build \
-Djib.to.auth.username=${{secrets.MY_USERNAME}} \
-Djib.to.auth.password=${{secrets.MY_PASSWORD}} \
-Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED \
-Djib.from.image=freemanliu/oprenjre:11.0.5 \
-Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

执行下面的命令之后咱们将失去一个规范的 docker 镜像，该镜像会被推送到近程仓库。

实现了镜像的构建之后, 咱们紧接着来装置咱们的 Operator 到 kubernetes 集群，当然了首先你须要一套集群，能够参考我之前一篇文章部署高可用 kubernetes，尽管版本比拟老, 然而新版本其实也差不多的一个思路。

此处疾速装置只是为了疾速体验 demo

scriptkubectl apply -f https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yaml

apply 胜利之后控制台输入

namespace/spring-boot-operator-system created
customresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io created
role.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader created
rolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding created
service/spring-boot-operator-controller-manager-metrics-service created
deployment.apps/spring-boot-operator-controller-manager created

稍等片刻查看是否曾经装置胜利

scriptkubectl  get po -n spring-boot-operator-system

胜利如下输入

NAME                                                       READY   STATUS    RESTARTS   AGE
spring-boot-operator-controller-manager-7f498596bb-wcwtn   2/2     Running   0          2m15s

实现了 Operator 的部署之后，咱们来部署咱们第一个利用，这里咱们就公布下面咱们编写的 springboot 利用 opreator-demo。
首先咱们须要先编写一个 Spring Boot Application 的 CRD 部署 yaml，如下

# Demo.yaml
apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: operator-demo 
spec:
  springBoot:
    version: v1.0.0
#    image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

仔细的同学可能发现了，为啥连 Image 都没有？这怎么公布，就 name，version，就能实现公布？是的没错！就能实现公布，前面我讲具体讲到他是如何实现的。
接着咱们 apply 一下

scriptkubectl apply -f Demo.yaml

看到 console 输入

springbootapplication.springboot.qingmu.io/operator-demo created

示意创立胜利了，接着咱们来看下咱们部署的第一个利用，这里咱们间接用下面的 yaml 中的 name 过滤即可。
查看 pod

script~# kubectl  get po | grep operator-demo
operator-demo-7574f4789c-mg58m             1/1     Running   0          76s
operator-demo-7574f4789c-ssr8v             1/1     Running   0          76s
operator-demo-7574f4789c-sznww             1/1     Running   0          76s

查看下咱们的 pid 不等于 1 的设置是否失效, 依据上面的后果能够看到通过设置 ShareProcessNamespace 该参数咱们能够在 Kubernetes 层面来解决这个 pid= 1 的问题。

scriptkubectl exec -it operator-demo-7574f4789c-mg58m bash
bash-5.0# ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  0 02:06 ?        00:00:00 /pause
root         6     0 26 02:06 ?        00:00:09 java --add-opens java.base/sun.nio.ch=ALL-UNNAMED -cp /app/resources:/app/classes:/app/libs/* io.qingmu.operator.operatordemo.Oper...
root        38     0  0 02:07 pts/0    00:00:00 bash
root        44    38  0 02:07 pts/0    00:00:00 ps -ef

查看 svc

script~# kubectl  get svc | grep operator-demo
operator-demo             ClusterIP   10.101.128.6     <none>        8080/TCP            2m52s

咱们来拜访一下试试。

scriptroot@server1:~# curl -i http://10.101.128.6:8080
HTTP/1.1 200 
Content-Type: text/plain;charset=UTF-8
Content-Length: 9
Date: Wed, 08 Apr 2020 08:45:46 GMT

hello !!!

咱们来试着缩减他的正本数到 1 个
编辑咱们的 Demo.yaml，退出一个新的属性replicas

# Demo.yaml
apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: operator-demo 
spec:
  springBoot:
    version: v1.0.0
    replicas: 1

利用一下

scriptroot@server1:~# kubectl apply -f Demo.yaml 
springbootapplication.springboot.qingmu.io/operator-demo configured

再次查看 pod，你会发现咱们的 pod 曾经缩放为一个正本了

script~# kubectl  get po | grep operator-demo
operator-demo-7574f4789c-sznww             1/1     Running   0          8m29s

要删除该 pod 咱们只须要执行 delete 即可

script~# kubectl delete -f Demo.yaml 
springbootapplication.springboot.qingmu.io "operator-demo" deleted

再次查看 pod，曾经没了

scriptkubectl  get po | grep operator-demo

部署本人公有仓库的利用须要须要先创立 secret(如果曾经创立跳过即可)
创立 docker-registry 的 secret

scriptkubectl create  \
secret docker-registry aliyun-registry-secret \
--docker-server=registry-vpc.cn-hangzhou.aliyuncs.com \
--docker-username=*** \
--docker-password=*** \
--docker-email=***

本人利用的 crd Yaml

apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: 你的利用的名称
spec:
  springBoot:
    version: v1.0.0
    replicas: 1 
    image: 你的 image 地址
    imagePullSecrets: 
      - 下面创立的 secret

上面是一个残缺的 yaml 属性构造，大部分属性咱们都能够用默认配置的即可。
不设置属性，默认应用 Operator 中设置的通用值详见前面的自定义装置 Operator。

Spring Boot 根底就不介绍了，举荐下这个实战教程：
https://www.javastack.cn/cate…

apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: operator-demo
  namespace: default
spec:
  springBoot:
    # image 能够不设置，如果不设置默认应用 IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version
    # registry.cn-shanghai.aliyuncs.com/qingmuio + / + operator-demo + : + v1.0.0
    image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0
    clusterIp: "" 
    version: v1.0.0 
    replicas: 1 
    resource:
      cpu:
        request: 50m
        limit: "" 
      memory:
        request: 1Gi
        limit: 1Gi 
    path:
      liveness: /actuator/health 
      readiness: /actuator/health 
      hostLog: /var/applog 
      shutdown: /spring/shutdown 
    imagePullSecrets: 
      - aliyun-docker-registry-secret
    env: 
      - name: EUREKA_SERVERS
        value: http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/
    nodeAffinity: 
      key: "failure-domain.beta.kubernetes.io/zone"
      operator: "In"
      values:
        - "cn-i"
        - "cn-h"
        - "cn-g"

因为优雅停机默认是敞开的并且并不反对 Get 申请所以咱们须要开启和搭个桥
首先在 application.yml 中启用

management:
  endpoints:
    web:
      exposure:
        include: "*"
  endpoint:
    shutdown:
      enabled: true

而后桥接一个 Get 办法

@RestController
public class ShutdownController {
    @Autowired
    private ShutdownEndpoint shutdownEndpoint;

    @GetMapping("/spring/shutdown")
    public Map<String, String> shutdown(HttpServletRequest request) {return shutdownEndpoint.shutdown();
    }
}

举一个列子咱们有一个 springboot 利用 user-service 心愿他能散布到 3 个可用区的 6 个节点上:
首先咱们把机器划分多个可用区

cn- i 区(node-i1,node-i02)
cn- h 区(node-g1,node-g02)
cn- g 区(node-h1,node-h02)

当初咱们有三个能够区每个区有 2 台 workload，一共 6 台。而后咱们须要给这些机器别离打上 label。
将全副的 i 区机器标注为 cn-i

scriptkubectl label node node-i1 failure-domain.beta.kubernetes.io/zone=cn-i
kubectl label node node-i2 failure-domain.beta.kubernetes.io/zone=cn-i

同理将 h 区的标注为 h，g 区同理

scriptkubectl label node node-h1 failure-domain.beta.kubernetes.io/zone=cn-i
kubectl label node node-ih2 failure-domain.beta.kubernetes.io/zone=cn-i

当初筹备工作咱们就绪了，当初咱们来设置让它达到咱们的调度成果，像如下编写即可。

spec:
  springBoot:
    nodeAffinity: #能够不设置 节点亲和 这里演示的是尽量将 pod 扩散到 i h g 三个可用区，默认设置了 pod 反亲和
      key: "failure-domain.beta.kubernetes.io/zone"
      operator: "In"
      values:
        - "cn-i"
        - "cn-h"
        - "cn-g"

下面咱们疾速的装置了好了，接着咱们来解说下如何自定义装置，以及有哪些自定义的参数，能够个性化的参数咱们用环境变量的形式注入。
上面来批改 Deployment 实现本人个性化的配置部署，从我提供的部署 yaml 中拉倒最初，找到 name 是 spring-boot-operator-controller-manager 的 Deployment，咱们将批改它。

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    control-plane: controller-manager
  name: spring-boot-operator-controller-manager
  namespace: spring-boot-operator-system
.....
        
        #留神：一下配置针对通用全局的 spring boot 默认配置，对 crd 的 spring boot 失效，这里不配置也能够在部署的 yaml 中指定

        # 公有仓库的地址，比方我的最终打包的镜像地址是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0
        # 那么配置的值是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo
        # 配置这个值之后，咱们咱们如果在公布的 yaml 中不写 image，那么应用的 image 就是 IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version
        - name: IMAGE_REPOSITORY
          value: registry.cn-shanghai.aliyuncs.com/qingmuio
        # 申请 CPU 限度
        - name: REQUEST_CPU
          value: 50m
        # 限度最大能用最大 CPU java 利用能够不必限度，限度不合理会导致启动异样迟缓
        - name: LIMIT_CPU
          value: ""
        # 申请内存大小
        - name: REQUEST_MEMORY
          value: 500Mi
        # 限度最大内存大小 个别和 request 一样大即可
        - name: LIMIT_MEMORY
          value: 500Mi
        # 就绪查看 Path，spring boot actuator 默认 Path
        - name: READINESS_PATH
          value: /actuator/health
        # 就绪存活 Path，spring boot actuator 默认 Path
        - name: LIVENESS_PATH
          value: /actuator/health
        # 就绪存活 Path，优雅停机 Path
        - name: SHUTDOWN_PATH
          value: /spring/shutdown
        # 复制级 即正本数
        - name: REPLICAS
          value: "3"
        # 将日志外挂到主机磁盘 Path，默认两者雷同
        - name: HOST_LOG_PATH
          value: /var/applog
        # 用于 pull 镜像的 secrets
        - name: IMAGE_PULL_SECRETS
          value: ""
        # 用于 pull 镜像的 secrets
        - name: SPRING_BOOT_DEFAULT_PORT
          value: "8080"
        # node 亲和，比方我能够设置 pod 尽量扩散在不同可用区 cn-i,cn-g,cn- h 区
        - name: NODE_AFFINITY_KEY
          value: ""
        - name: NODE_AFFINITY_OPERATOR
          value: ""
        - name: NODE_AFFINITY_VALUES
          value: ""
        # 全局的环境变量，会追加到每个 spring boot 的每个 pod 中，格局 k=v;k1=v2,
        # 如 EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v
        - name: SPRING_BOOT_ENV
          value: ""
        image: registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest

.....

yaml 能够简化为如下。

apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: 你的利用的名称
spec:
  springBoot:
    version: v1.0.0

环境变量表格

环境变量名	是否能够空	默认值	阐明
IMAGE_REPOSITORY	true	“”	公有仓库的地址
REQUEST_CPU	true	50m	申请 CPU 限度
LIMIT_CPU	true	“”	限度最大能用最大 CPU java 利用能够不必限度，限度不合理会导致启动异样迟缓
REQUEST_MEMORY	true	2Gi	申请内存大小
LIMIT_MEMORY	true	2Gi	限度最大内存大小个别和 request 一样大即可
READINESS_PATH	true	/actuator/health	就绪查看 Path，spring boot actuator 默认 Path
LIVENESS_PATH	true	/actuator/health	存活查看 Path，spring boot actuator 默认 Path
SHUTDOWN_PATH	true	/spring/shutdown	就绪存活 Path，优雅停机 Path
REPLICAS	true	3	正本数
HOST_LOG_PATH	true	/var/applog	将日志外挂到主机磁盘 Path，默认两者雷同
IMAGE_PULL_SECRETS	true	无	用于 pull 镜像的 secrets
SPRING_BOOT_DEFAULT_PORT	true	8080	用于 pull 镜像的 secrets
NODE_AFFINITY_KEY	true	“”	node 亲和 key，比方我能够设置 pod 尽量扩散在不同可用区 cn-i,cn-g,cn- h 区
NODE_AFFINITY_OPERATOR	true	“”	node 亲和操作符
NODE_AFFINITY_VALUES	true	“”	node 亲和 value
SPRING_BOOT_ENV	true	“”	全局的环境变量，会追加到每个 spring boot 的每个 pod 中，格局 k=v;k1=v2

近期热文举荐：

1.1,000+ 道 Java 面试题及答案整顿(2021 最新版)

2. 别在再满屏的 if/ else 了，试试策略模式，真香！！

3. 卧槽！Java 中的 xx ≠ null 是什么新语法？

4.Spring Boot 2.6 正式公布，一大波新个性。。

5.《Java 开发手册（嵩山版）》最新公布，速速下载！

感觉不错，别忘了顺手点赞 + 转发哦！

正文完

java

发表至： java

2021-12-02

0

一次nginx实现根据URL转发请求的经历

关于java:Autowired-Resource-Inject-三个注解的区别你懂吗别再乱用了

关于java:XTask与Kotlin-Coroutine的使用对比

JVM从小白学成大佬4Java虚拟机何谓垃圾及垃圾回收算法

关于vue.js:前端面试每日-31-第960天

关于java:在K8S-中部署-Spring-Boot-应用爽

前言

打包 Docker 镜像

Operator 疾速体验

疾速装置

部署 OperatorDemo 利用

验证

清理 operator-demo

部署本人的利用

一个残缺的 Spring Boot Application Yaml

优雅停机的门路

node 亲和的应用

Operator 自定义装置

自定义装置之后部署

附录

站内搜索