施行微服务架构后,原先繁多的系统结构统变成了数量泛滥的微服务利用,开发、测试、运维部署等都会面临不少挑战。在微服务架构下如何进步工程研发效率,确保开发、测试、运维部署等流程上的顺畅,是微服务技术体系可能真正落地产生效益的要害。
要实现上述指标就须要基于DevOps(开发运维)思维构建一套高度自动化的公布零碎,在该零碎中开发人员能够随时随地构建代码并将其公布至指定的运行环境中,这个过程也就是咱们通常所说的CI/CD(继续集成/继续交付)流程。
对于DevOps的具体实际,不同的公司个别会依据本身的倒退阶段和理论须要来抉择具体落地的计划。具备条件的公司能够研发功能丰富的可视化公布零碎,而条件无限的守业公司则能够通过开源或现有的技术组件(如GitLab、Jenkins等)来实现操作绝对简陋但性能齐备的自动化公布零碎。
在本篇文章中我将以Spring Cloud微服务技术体系为背景,通过GitLab自带的CI/CD机制并基于Kubernetes容器化技术来实现一套具备绝对残缺CI/CD流程的自动化公布零碎。
CI/CD流程概述
实际上DevOps并不是微服务架构风行之后才产生的概念,而是业界在多年软件开发实际中积攒的实践、工具的汇合。本文所要探讨的自动化公布零碎实际上是要通过搭建CI/CD流水线来建设一套应用程序构建、测试、打包及公布的高效自动化办法。对于CI(继续集成)/CD(继续交付)的概念并不是指某一种具体的技术,而是一种软件工程文化加一系列操作准则和具体实际的汇合。
其中CI(继续集成)的次要指标是通过建设统一的自动化构建办法来打包程序代码,使得团队成员可能以更频繁地动作提交代码、更早地进行代码集成,以及时发现和解决代码中的问题、进步合作开发效率及软件交付品质。可继续集成(CI)的根本流程如图所示:
从实现流程上来说CI的次要过程就是将开发人员提交的代码以高度自动化的形式打包成能够在具体基础架构环境运行的程序包(例如Docker镜像)。而这个过程能够由一组工具如GitLab Runner(CI Pipeline)、Sonar(代码检测工具)等去实现,具体构建CI流程时依据理论须要集成使用即可。
继续交付(CD)的次要逻辑则是将CI流程中构建的程序镜像从镜像仓库主动公布到具体的基础架构环境(如测试/生产Kubernetes集群),实现CD的工具次要有GitLab Runner(CD Pipeline)、Helm(Kubernetes软件包管理工具)等。
实际上CD的外围就是通过输出的各种用户参数(如yaml文件、环境配置参数等)最终主动生成具体的公布指令(如Helm指令),并依据参数中设置的相应信息来配置程序的具体运行环境。可继续交付(CD)的根本运行流程如下图所示:
以上就是CI/CD的基本概念及流程,也是自动化公布零碎的实现的根据。在前面的内容中将次要围绕这两个阶段来实现自动化公布零碎的根本流程逻辑。
零碎的根本组成
本文所要形容的自动化公布零碎次要是利用GitLab提供的GitLab CI机制,实现当代码产生提交或合并等事件时主动触发预设的CI/CD流程。其中CI流程次要包含根本的代码编译、构建、打包等阶段,并在实现上述步骤后将打包好的利用Docker镜像公布至镜像仓库。
而CD阶段则是从镜像仓库拉取利用Docker镜像,并依据设置的CD流程将利用公布至指定的Kubernetes集群。具体系统结构如下图所示:
如上图所示,该自动化公布零碎次要由GitLab、Harbor镜像仓库及Kubernetes集群组成。其中GitLab次要承当代码版本的治理,以及CI/CD流程定义和触发, Harbor负责利用Docker镜像的存储和散发,而Kubernetes集群则是利用容器运行的基础架构环境。
GitLab-CI自动化公布零碎的要害实现
后面咱们形容了基于GitLab-CI机制实现自动化公布零碎的根本组成,要具体实现这套零碎你须要装置部署GitLab服务器并配置GItLab Runner性能,公有镜像仓库服务(Harbor或JFrog)以及Kubernetes集群(具体可参见本专栏的其余文章)。
因为GitLab服务器是CI/CD流程执行的次要承载点,如果你的服务是基于Maven构建的Java服务,那么还须要在GitLab服务器中装置Maven客户端,并配置Maven私服的地址,以进步构建速度。此外GitLab服务器在CI/CD流程执行中还会运行Docker镜像打包构建,将镜像push到Docker镜像仓库以及将Docker镜像从公有仓库公布至Kubernetes集群等逻辑,所以GitLab服务器还须要装置Docker环境及kubelet客户端。
如果环境都OK,那么咱们就能够在Gitlab我的项目根目录代码中创立“.gitlab-ci.yml”文件并定义具体的CI/CD流程了。但在具体定义之前,咱们须要在Maven我的项目中增加利用Docker镜像打包的插件配置及Dockerfile文件定义,具体如下:
<!--增加Docker镜像Maven打包插件--><plugin> <groupId>com.spotify</groupId> <artifactId>dockerfile-maven-plugin</artifactId> <version>1.4.13</version> <executions> <execution> <id>build-image</id> <phase>package</phase> <goals> <goal>build</goal> </goals> </execution> </executions> <configuration> <!--指定Dockerfile文件地位--> <dockerfile>docker/Dockerfile</dockerfile> <!--指定Docker镜像仓库门路--> <repository>${docker.repository}/springcloud-action/${app.name}</repository> <buildArgs> <!--提供参数向Dockerfile传递--> <JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE> </buildArgs> </configuration></plugin>
在我的项目工程pom.xml文件中增加“dockerfile-maven-plugin”插件,该插件是晚期“docker-maven-plugin”插件的替代品,反对将Maven我的项目构建打包为Docker镜像。上述配置中,针对Docker镜像的具体构建形式,是通过在<configuration>标签中指定Dockerfile文件来实现的。具体可在我的项目工程中创立docker目录,并创立Dockerfile文件,内容如下:
FROM openjdk:8u191-jre-alpine3.9ENTRYPOINT ["/usr/bin/java", "-jar", "/app.jar"]ARG JAR_FILEADD ${JAR_FILE} /app.jarEXPOSE 8080
配置好Maven打包插件后,就能反对通过Maven打包命令,将利用代码打包成Docker镜像了。此时咱们在".gitlab-ci.yml"文件中定义具体的CI/CD构建Stages,示例如下:
#环境参数信息variables: #Docker镜像仓库地址&账号密码信息 DOCKER_REPO_URL: "10.211.55.11:8088" DOCKER_REPO_USERNAME: admin DOCKER_REPO_PASSWORD: Harbor12345 #Kubernetes相干信息配置(空间与服务端口) K8S_NAMESPACE: "wudimanong" PORT: "8080"#定义CI/CD阶段stages: - test - build - push - deploy#执行单元测试阶段maven-test: stage: test script: - mvn clean test#代码编译打包镜像阶段maven-build: stage: build script: - mvn clean package -DskipTests#将打包的Docker镜像上传至公有镜像仓库docker-push: stage: push script: #对打包的镜像进行tag - docker tag $DOCKER_REPO_URL/$CI_PROJECT_PATH $DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8} #登录公有镜像仓库 - docker login $DOCKER_REPO_URL -u $DOCKER_REPO_USERNAME -p $DOCKER_REPO_PASSWORD #上传利用镜像至镜像仓库 - docker push $DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8} - docker rmi $DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8} - docker rmi $DOCKER_REPO_URL/$CI_PROJECT_PATH#将利用公布至Kubernetes测试集群(这里指定为手动确认形式)deploy-test: stage: deploy when: manual script: - kubectl config use-context kubernetes-admin@kubernetes - sed -e "s/__REPLICAS__/1/; s/__PORT__/$PORT/; s/__APP_NAME__/$CI_PROJECT_NAME/; s/__PROFILE__/test/; s/__IMAGE__/$DOCKER_REPO_URL\/${CI_PROJECT_PATH//\//\\/}\/${CI_BUILD_REF_NAME//\//\\/}:${CI_COMMIT_SHA:0:8}/" kubernetes/deploy.yaml | kubectl -n ${K8S_NAMESPACE} apply -f -
如上所述,咱们在“.gitlab-ci.yml”文件中定义了”test、build、push、deploy”这4个stages阶段。这几个stages的具体阐明如下:
- test:执行单元测试代码;
- build:执行构建打包指令,将利用构建打包为Docker镜像;
- push:该阶段次要是将build构建的本地Docker镜像通过tag解决后上传至Harbor镜像仓库,并在胜利后清理掉本地镜像文件;
- deploy:该阶段次要是执行Kubernetes指令,依据Kubernetes公布部署文件的配置,将容器镜像部署公布至Kubernetes集群;
在deploy阶段,是将Docker镜像公布运行至Kubernetes集群,其中波及编写Kubernetes部署公布yaml文件,具体示例如下:
---apiVersion: apps/v1kind: Deploymentmetadata: name: __APP_NAME__spec: replicas: __REPLICAS__ selector: matchLabels: app: __APP_NAME__ strategy: type: RollingUpdate template: metadata: labels: app: __APP_NAME__ spec: imagePullSecrets: - name: wudimanong-ecr containers: - name: __APP_NAME__ image: __IMAGE__ resources: requests: memory: "1000M" limits: memory: "1000M" volumeMounts: - name: time-zone mountPath: /etc/localtime - name: java-logs mountPath: /opt/logs ports: - containerPort: __PORT__ env: - name: SPRING_PROFILES_ACTIVE value: __PROFILE__ - name: JAVA_OPTS value: -Xms1G -Xmx1G -Dapp.home=/opt/ volumes: - name: time-zone hostPath: path: /etc/localtime - name: java-logs hostPath: path: /data/app/deployment/logs
如果所有筹备得当,此时你向GitLab仓库提交代码将主动触发构建Pipeline,而Pipeline将主动运行你在“.gitlab-ci.yml”文件中定义的具体CI/CD流水线逻辑,从而实现利用的自动化公布成果。
基于GitLab-CI机制的自动化公布零碎因为其构建形式比较简单,不须要太多的开发工作,因而目前不少守业公司中都采纳了此类计划来实现微服务的自动化构建和交付。