关于云计算:在-KubeSphere-中使用-DevOps-部署-Java-微服务配置监控预警

作者：酱油瓶，携程后端技术专家，KubeSphere 社区用户

咱们基于 Spring Cloud +Nacos 开发 Java 微服务，Java 服务开发不做过多的叙述。

咱们在我的项目的 bom 中引入 Spring Boot Actuator，它提供了多种个性来监控和管理应用程序，能够基于 HTTP，也能够基于 JMX。

         <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

引入 Actuator 后，原则上咱们无需做任何配置即可应用，在咱们我的项目中咱们结合实际需要及晋升安全性做了如下配置：

management.health.elasticsearch.enabled=false
management.endpoints.web.exposure.include=*
management.endpoints.web.base-path=/api/actuator
management.metrics.tags.application=${service.name}
management.metrics.tags.appid=${service.appid}
management.server.port=8090

management.server.port：启用独立的端口来提供监控，防止监控相干 api 裸露在服务外；
management.metrics.tags.xxx：在统计信息中增加自定义的标签；
management.endpoints.web.exposure.include：用于蕴含咱们要公开的端点列表 , 咱们这里设置为 * 代表所有。

察看应用程序监控数据

当咱们运行编写好的程序后，通过拜访 http://localhost:8090/api/actuator/prometheus 能够看到相似如下数据，其中就有咱们通过配置增加的 tag 数据，后续咱们部署的 monitor 会通过如下地址将数据采集到 Prometheus 中。

1. 编写 DevOps 文件

pipeline {
  agent {
    node {label 'maven'}
  }
    options{buildDiscarder(logRotator(numToKeepStr: '10'))
    }
    parameters {string(name:'APP_NAME',defaultValue: 'accounts-service',description:'利用名称 必须应用小写 需跟 maven 构建中统一')
        string(name:'PROJECT_NAMESPACE',defaultValue: 'basebiz',description:'部署我的项目集名称')
        string(name:'SERVICE_SRC_PATH',defaultValue: 'accounts-service-webapp',description:'war 包门路')
        string(name:'PROGECT_GIT_PATH',defaultValue:'basebiz/accounts-service.git',description:'我的项目 gitlabpath')
        string(name:'TAG_NAME',defaultValue: '',description:'tag 公布线上必须填写 格局 v20210101(v+ 以后日期)')
        string(name:'PODCOUNT',defaultValue: '2',description:'部署 pod 数量')
        string(name:'HEALTH_CHECK_URI',defaultValue: '/api/actuator/health',description:'衰弱检测地址')
    }
    environment {
        // 构建镜像
        REGISTRY = 'hub.xxxx.cn'
        DOCKERHUB_NAMESPACE = 'app'
        DOCKER_CREDENTIAL_ID = 'dockerhub-account' //hub 账号密钥
        GITHUB_CREDENTIAL_ID = 'gitlab-account' //gitlab 账号密钥
        // 环境部署凭证
        KUBECONFIG_CREDENTIAL_ID_DEV = 'testing-kubeconfig'
        KUBECONFIG_CREDENTIAL_ID_VIEW = 'xxxxaliyun-testing'
        KUBECONFIG_CREDENTIAL_ID_PROD = 'xxx-prod'
        DOWNLOAD_BASEDOMAIN = 'gitlab.xxxx.cn' // 公共资源下载
        COMMIT_ID= sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()}
 stages {stage ('迁出代码') {
            steps {checkout(scm)
            }
        }
        stage ('编译') {
            steps {container ('maven') {

                    //***************************************
                    //************** 下载通用模版 ***************
                    sh 'curl -o `pwd`/start.sh https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/shell/springboot-start.sh'
                    sh 'curl -o `pwd`/settings.xml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/setting.xml'
                    sh 'curl -o `pwd`/Dockerfile https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/dockerfile/javaservice/dockerfile'
                    //***************************************
                    sh 'mkdir `pwd`/yaml'
                    sh 'curl -o `pwd`/yaml/devops-java.yaml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/yaml/java-service-v1.0.0.yaml'
                    sh 'mvn -Dmaven.test.skip=true -gs `pwd`/settings.xml clean package -U -Denv.trackerror=true'
                }
            }
        }

        stage('构建并推送镜像'){
           steps{container ('maven') {
                  sh 'docker build --build-arg SERVICE_SRC_PATH=$SERVICE_SRC_PATH \
                     --build-arg GENERATE_PATH=generated-resources/appassembler/jsw/$APP_NAME \
                     --build-arg RELEASE_NAME=$BRANCH_NAME-$BUILD_NUMBER \
                     --build-arg APP_NAME=$APP_NAME \
                     -f Dockerfile \
                     -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID \
                     --no-cache .'withCredentials([usernamePassword(passwordVariable :'DOCKER_PASSWORD',usernameVariable :'DOCKER_USERNAME',credentialsId :"$DOCKER_CREDENTIAL_ID" ,)]) {
                        sh 'echo"$DOCKER_PASSWORD"| docker login $REGISTRY -u"$DOCKER_USERNAME"--password-stdin'
                        sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID'
                  }
                  sh 'docker tag  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest'
                  sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest'
                }
           }
        }
         stage("gitlab 打 tag"){
          when{
            expression{return params.TAG_NAME =~ /v.*/}
          }
         steps {withCredentials([usernamePassword(credentialsId: "$GITHUB_CREDENTIAL_ID", passwordVariable: 'GIT_PASSWORD', usernameVariable: 'GIT_USERNAME')]) {
                                       sh 'git config --global user.email"xxxx@xxxx.cn" '
                                       sh 'git config --global user.name"xxxx" '
                                       sh 'git tag -a $TAG_NAME-$BUILD_NUMBER -m"$TAG_NAME" '
                                       sh 'git push https://$GIT_USERNAME:$GIT_PASSWORD@$DOWNLOAD_BASEDOMAIN/$PROGECT_GIT_PATH --tags --ipv4'
                                     }
                }
         }

        stage('部署测试环境') {
         // when{
         //   branch 'master'
         // }
          steps {//input(id: 'deploy-to-dev', message: 'deploy to dev?')
            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_DEV")
          }
        }

        stage('部署生产环境') {
          when{
            expression{return params.TAG_NAME =~ /v.*/}
          }
          steps {input(id: 'deploy-to-prod', message: '是否容许公布生产?')
            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_PROD")
          }
        }
    }
}

Jenkinsfile 文件形容了如下几个过程：

下载通用模版文件（maven setting、部署的 yaml 文件，构建容器镜像的 Dockerfile）
应用 Maven 编译 Java 应用程序
将编译后的 Java 应用程序打包为 Docker 镜像
将构建好的 Docker 镜像推送到公有 DockerHub 中
将容器镜像部署到各个环境中

界面执行成果为：

2. 编写部署的 yaml 文件

# java deployment 根本配置
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: $APP_NAME
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    release: java-actuator-prometheus
    tier: backend
  name: ${PROJECT_NAMESPACE}-${APP_NAME}
  namespace: ${PROJECT_NAMESPACE}
spec:
  progressDeadlineSeconds: 600
  replicas: ${PODCOUNT}
  selector:
    matchLabels:
      app: $APP_NAME
      component: ${PROJECT_NAMESPACE}-${APP_NAME}
      tier: backend
  template:
    metadata:
      labels:
        app: $APP_NAME
        component: ${PROJECT_NAMESPACE}-${APP_NAME}
        tier: backend
        release: java-actuator-prometheus
      annotations:
        prometheus.io/path: /api/actuator/prometheus
        prometheus.io/port: '8090'
        prometheus.io/scrape: 'true'
    spec:
      volumes:
        - name: base-config
          configMap:
            name: base-config
            items:
              - key: server.properties
                path: server.properties
            defaultMode: 420
        - name: logconfig
          configMap:
            name: logconfig
            items:
              - key: logging-config.xml
                path: logging-config.xml
            defaultMode: 420
      containers:
        - env:
            - name: HOST_IP
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: status.hostIP
            - name: DEPLOY_ENV
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: env
            - name: NACOS_SERVER
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: nacos-server
            - name: DB_SERVER_ADDRESS
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: DB_SERVER_ADDRESS
          image: $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID
          readinessProbe:
            httpGet:
              path: ${HEALTH_CHECK_URI}
              port: 8090
            initialDelaySeconds: 30
            timeoutSeconds: 10
            failureThreshold: 30
            periodSeconds: 5
          imagePullPolicy: Always
          name: ${PROJECT_NAMESPACE}-${APP_NAME}
          ports:
            - containerPort: 8080
              protocol: TCP
            - containerPort: 8090
              protocol: TCP
          resources:
            limits:
              cpu: 2000m
              memory: 600Mi
            requests:
              cpu: 1m
              memory: 100Mi
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      terminationGracePeriodSeconds: 30


---
# 服务 svc 配置信息
apiVersion: v1
kind: Service
metadata:
  labels:
    app: ${APP_NAME}
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    release: java-actuator-prometheus
  name: ${PROJECT_NAMESPACE}-${APP_NAME}
  namespace: ${PROJECT_NAMESPACE}
  annotations:
    prometheus.io/path: /api/actuator/prometheus
    prometheus.io/port: '8090'
    prometheus.io/scrape: 'true'

spec:
  ports:
    - name: http
      port: 8080
      protocol: TCP
      targetPort: 8080
    - name: http-actuator
      port: 8090
      protocol: TCP
      targetPort: 8090
  selector:
    app: ${APP_NAME}
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    tier: backend
  sessionAffinity: None
  type: ClusterIP

通过如上的 yaml 咱们会部署利用负载容器及服务 SVC。

咱们在 Deployment 的 metadata 中进行了如下的形容前期在部署 ServiceMonitor 的时候会应用到。

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    app: java-actuator-prometheus
    component: java-actuator-prometheus
    heritage: Tiller
    release: prometh-java-actuator
  name: monitor-java-actuator-prometheus
  namespace: default
spec:
  endpoints:
    - honorLabels: true
      interval: 5s
      path: /api/actuator/prometheus
      port: http
  jobLabel: java-actuator-prometheus
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      release: java-actuator-prometheus

yaml 形容了咱们将采集什么 namespace 上面的数据，在这里咱们将 namespace 设置为了 default，将采集所有 namespace 上面的数据，同时咱们将 selector 下的 release：xx 设置成了与咱们部署的微服务的 metadata 的 release 统一，那么 ServiceMonitor 将采集到所有 namespace 上面标注了 release 为 java-actuator-prometheus 的所有服务的数据。

咱们能够通过 kubectl apply 将其部署到集群中。

kubectl apply -f - <<EOF
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    app: java-actuator-prometheus
    component: java-actuator-prometheus
    heritage: Tiller
    release: prometh-java-actuator
  name: monitor-java-actuator-prometheus
  namespace: default
spec:
  endpoints:
    - honorLabels: true
      interval: 5s
      path: /api/actuator/prometheus
      port: http
  jobLabel: java-actuator-prometheus
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      release: java-actuator-prometheus
EOF

执行胜利后咱们能够在集群的 CRD 上面搜寻 ServiceMonitor 并关上能够找到咱们部署的 ServiceMonitor 配置。如图所示：

当然你也能够通过命令行进行查问验证。

咱们能够在集群中的如下地址找到 KubeSphere 系统集成的 Prometheus 服务，如图所示

拜访 Prometheus Web 界面。

通过 3.1.1 咱们能够看到普罗米修斯服务的 ip 地址为 172.17.107.29，默认端口为 9090。咱们在浏览器输出 http://172.17.107.29:9090，能够看到如图所示：

1. 自定义监控

咱们能够拜访 - 集群 -> 监控告警 -> 自定义监控进入，如图所示：

咱们点击创立能够看到 KubeSphere 曾经集成了局部监控面板，这里咱们抉择 Grafana。

在下一步后零碎会让咱们上传 JSON 模版咱们能够通过 grafana 官网下载一些通用的模版配置，这里咱们应用的是 JVM (Micrometer)。在右侧能够下载 JSON 文件。

导入后咱们就能够看到相干监控指标了。

2. 自定义告警

咱们也能够应用系统集成的告警策略设置基于采集数据的自定义告警设置。例如：

装置 Grafana

配置利用仓库
- 为了疾速的装置 Helm 利用咱们能够顺次关上企业空间 - 利用治理 - 利用仓库；
- 在点击左边的增加按钮这里咱们增加的是 bitmap 的利用仓库地址：https://charts.bitnami.com/bi…；
- 增加实现后稍等片刻利用列表就加载结束。
装置 grafana 利用
- 咱们顺次关上企业空间 - 我的项目 - 点击要装置到的具体我的项目 - 点击利用 - 点击右侧的创立按钮；
- 弹出对话框中点击从利用模版，从利用仓库列表中抉择咱们刚刚增加的 bitnami 的仓库，搜寻 Grafana 点击后装置即可。

Grafana 数据源

咱们应用管理员账号登录进 Grafana，默认明码能够在我的项目的窃密字典中的 grafana-admin 中找到；
登录后咱们点击左侧的小齿轮 -datasource 在关上页面中抉择 Add data source 而后抉择 Prometheus 在 URL 中填入咱们下面说到的 Prometheus 的 URL 地址。如图所示：
填写后拖到最上面，点击 save&test。

导入 Dashbord

咱们点击页面左侧➕-import；
输出咱们从 grafana 官网取得的对应的模版的 id 点击 load；
在下一步中抉择 Prometheus 为咱们配置的数据源点击 import 即可。

本文由博客一文多发平台 OpenWrite 公布！

关于云计算:在-KubeSphere-中使用-DevOps-部署-Java-微服务配置监控预警

开发 Java 微服务并引入监控组件

我的项目中引入 Actuator

配置 Actuator

利用部署配置

在 Kubernetes 中部署 ServiceMonitor

筹备咱们对应 Java 服务的 ServiceMonitor 部署文件

将 ServiceMonitor 部署到集群中

验证数据采集并配置 Grafana

查看零碎 Prometheus 地址并查问数据

在 KubeSphere 中配置自定义监控及告警

应用外置的 Grafana