小Hub领读:
脚本代码这么多,不是运维可能会真不会写哈哈。普通人用jenkins全量挺好的,然而代码过多时候就比拟麻烦,而且jenkins个别也要配合脚本应用更加合乎业务。
作者:CatalpaFlathttps://juejin.im/post/5cf0ed...
利用部署是开发、测试、上线必须面对的一个过程,尤其是微服务架构的呈现,运维部署从单体的部署逐步脱离出,并且越显简单。
然而,抛开多语言,多环境,集群,分布式的部署之外。就单单探讨增量部署和全量部署
1.增量和全量部署
部署,除却我的项目初始化部署,最现实的状况即为:新版本更改哪些内容则更新哪些内容
1.1 增量部署
1.1.1 增量部署简介
增量部署个别指在每次部署过程中首先提取以后版本和行将部署版本之间的增量(包含代码、可执行文件或者配置等),并在部署过程中仅更新增量局部。
1.1.2 常见部署流程
- 利用代码管理工具(SVN、GIT 等)提取两个版本之间的增量,并联合其余方面的增量变动。
- 依照增量局部制订具体的部署形式,编写部署脚本,并筹备增量部署包(包含混同代码等)。
- 散发和部署增量部署包到曾经运行上一版本的指标环境,实现零碎的版本升级。
1.1.3 增量部署长处
- 部署速度快。每次只对增量局部进行更新,缩短部署工夫
- 缩小变动量。缩小对整个零碎的变动幅度,有些配置内容是不须要每次都更新迭代的
- 进步安全性。因为每次支队增量进行更新,防止全副代码的泄露
1.1.4 增量部署毛病
- 增量部署 若存在其余外在部署环境依赖,则升高部署效率
增量部署不像
- 部署环境多的状况下,对可重复性要求高
- 增量部署对回滚操作变得不敌对
1.2 如何抉择增量还是全量
现有的自动化部署,大多数都 全量部署,但全量部署也有一些弊病。但能够通过一些策略进行筛选:
- 提前准全量部署的所有配置和资料(部署包,外在配置文件等)在进行部署,能够提高效率和速度
- 应用灰度公布或负载平衡等办法升高全量部署对利用可用性的影响
对于古代零碎中绝大部分状态无关的部署单元(利用、模块,微服务等),全量部署个别应是最优的抉择。而状态相干的部署单元(数据库等)则仍然适宜增量部署逻辑。
2.进入主题
后面讲述了一些对于增量和全量部署的状况。接下来讲述如何通过 shell 脚本联合 Git Log 进行增量部署
2.1 前提环境
- Java 我的项目
- Maven 进行治理
- Git 作为代码仓库
2.2 shell 脚本
shell 老手,写得不够完满,轻喷。
2.2.1 整个 shell 脚本的模块
- Git 环境筹备
- Maven 对欲构建我的项目进行编译
- 创立增量部署文件夹
- 检索我的项目 target 目录
- 通过 git diff 检索两次 commit 之间的差别,再通过检索将对应文件拷贝到 “增量文件夹” 中
2.2.2 Git 环境筹备
# git环境if [[ ! -d ".git" ]]; then ECHO error: please init Git Repository exit 1;fiif [[ ! -z ${branch} ]]; then git checkout ${branch}fi# 获取默认commit-hashif [[ -z "$begin_hash" ]] && [[ -z "$end_hash" ]] ; then for p in $(git log --pretty=oneline -2) ; do if [[ ${#p} -eq 40 ]]; then if [[ -z ${begin_hash} ]]; then begin_hash=${p} else end_hash=${p} break fi fi donefiis_begin_has=false# 是否以后最新commitif [[ $(git log --pretty=oneline -1) == *${begin_hash}* ]]; then is_begin_has=truefi# 非以后最新分支commit,回滚到原始版本,可能过后maven原始配置不反对compile或会呈现构建失败(如:应用本地仓/公有仓库等)if [[ ${is_begin_has} = false ]]; then project_path=$(pwd) project_name=${project_path##*/} cd .. build_project_name=${project_name}_build_temp_project if [[ ! -d ${build_project_name} ]]; then mkdir ${build_project_name} fi \cp -rf ${project_name}/. ${build_project_name} cd ${build_project_name} git reset --hard ${begin_hash}fi复制代码
2.2.2.1 校验是否 git 仓库代码
if [[ ! -d ".git" ]]; then ECHO error: please init Git Repository exit 1;fi复制代码
2.2.2.2 查看是否须要切换分支
if [[ ! -z ${branch} ]]; then git checkout ${branch}fi
2.2.2.3 是否须要设置默认构建的 commit 值
若执行构建时,没给增加 --begin_hash= 和 --end_hash= 进行赋值,则默认应用最新的两次 commit 来进行增量部署。
通过 git log --pretty=oneline -2 获取最近两次 commit 的 hash
# 获取默认commit-hashif [[ -z "$begin_hash" ]] && [[ -z "$end_hash" ]] ; then for p in $(git log --pretty=oneline -2) ; do if [[ ${#p} -eq 40 ]]; then if [[ -z ${begin_hash} ]]; then begin_hash=${p} else end_hash=${p} break fi fi donefi复制代码
2.2.2.4 校验传参的 begin_hash 值是否为以后分支最新 commit hash
若非以后分支最新 commit hash,则须要回滚到对应 commit,进行我的项目构建编译
if [[ $(git log --pretty=oneline -1) == *${begin_hash}* ]]; then is_begin_has=truefi复制代码
2.2.2.5 若 begin_hash 非以后最新 commit hash
若传参 begin_hash 的值非以后最新 commit hash。则须要回滚到对应 commit 进行构建编译。
- 将现有我的项目进行拷贝到新的目录环境
- 到新目录环境对我的项目进行 reset,用于构建我的项目
if [[ ${is_begin_has} = false ]]; then project_path=$(pwd) project_name=${project_path##*/} cd .. build_project_name=${project_name}_build_temp_project if [[ ! -d ${build_project_name} ]]; then mkdir ${build_project_name} fi \cp -rf ${project_name}/. ${build_project_name} cd ${build_project_name} git reset --hard ${begin_hash}fi复制代码
2.2.3 Maven 对欲构建我的项目进行编译
对我的项目进行编译,生成对应 class 文件以及相干配置文件
mvn clean compile -q -DskipTest复制代码
若历史版本中存在应用本地仓库,而 maven 中没有配置好的状况能够重新配置, 通过 scope 以及 systemPath 进行引入,如:
<dependency> <groupId>cn.catalpaflat</groupId> <artifactId>core</artifactId> <version>1.0.0</version> <scope>system</scope> <systemPath>${project.basedir}/lib/core-1.0.jar</systemPath></dependency>复制代码
2.2.4 创立增量部署文件夹
为了避免增量文件夹被删除或者被 commit 到 git 仓库,能够统一化到一个目录中,并通过 .gitignore 对其进行疏忽。能够比对每次增量部署的差别
build_path=build-path/current_date=`date +%Y%m%d%H%m%s`if [[ ! -d "$build_path$current_date" ]]; then mkdir -p ${build_path}${current_date}else rm -rf ${build_path}${current_date} mkdir -p ${build_path}${current_date}fi复制代码
2.2.5 检索我的项目 target 目录
若我的项目为 Maven 我的项目,并且是 Java 我的项目,因为存在 Maven 多模块状况,须要检索每个模块下的编译后的代码门路,用于后续进行 class 等文件的拷贝。
default_target_paths=()default_java_file=javamodule_index=0# 检索以后我的项目是否maven多模块开发,递归检索,并设置其编译后的代码地位(暂只提供了java类型)obtain_module(){ for module in ` cat ./pom.xml | grep '<module>' | awk -F '>' '{print $2}' | awk -F '<' '{print $1}' ` do cd ${module} if [[ ! -d "/pom.xml" ]]; then module_exist=`cat ./pom.xml | grep '<module>' | awk -F '>' '{print $2}' | awk -F '<' '{print $1}'` if [[ -z ${module_exist} ]]; then if [[ ! -d "/target" ]]; then if [[ -z $1 ]]; then default_target_paths[module_index]=${module}/target/classes else default_target_paths[module_index]=$1/${module}/target/classes fi ((module_index++)) fi else if [[ -z $1 ]]; then obtain_module ${module} else obtain_module $1/${module} fi fi fi cd .. done}obtain_module复制代码
2.2.6 检索并拷贝变更文件到增量文件夹
- git diff --name-only 排查两次 commit 之间文件差别
- 并将 begin_hash 的 commit 编译后的代码拷贝到增量文件夹中,以备后续打包进行部署
# 通过git diff --name-only实现两次commit之间文件差别,并且将begin_hash的代码进行编译后,将差别的文件拷贝到“增量文件夹”中,以备后续进行增量部署for file_path in $(git diff --name-only ${begin_hash} ${end_hash}) ; do package_path=${file_path%/*} file_name=${file_path##*/} file_type=${file_name##*.} # 文件所在校验文件夹是否创立 if [[ ${package_path} != *.* ]]; then if [[ ! -d "./${build_path}${current_date}/$package_path" ]] ; then mkdir -p ./${build_path}${current_date}/${package_path} fi fi # 是否java if [[ ${file_type} = ${default_java_file} ]]; then module_path=${package_path##*java} file_class_name=${file_name%.*} module_type=${package_path%%/*} # 排查在哪个maven模块门路下 for default_target_path in ${default_target_paths[@]}; do target_module_path=$(echo ${default_target_path} | awk -F '/target/' '{print $1}') file_target_module_path=$(echo ${package_path} | awk -F '/src/' '{print $1}') file_target_package_path=$(echo ${package_path} | awk -F '/src/main/java/' '{print $2}') default_module_type=${default_target_path%%/*} if [[ ${target_module_path} = ${file_target_module_path} ]]; then # 排查到对应maven模块的target目录,进行cp操作 cp -afx ${default_target_path}/${file_target_package_path}/${file_class_name}* ./${build_path}${current_date}/${package_path} fi done else # 非java文件,间接拷贝文件到对应目录下 if [[ ${package_path} != *.* ]]; then if [[ ! -d "./${build_path}${current_date}/$package_path" ]] ; then mkdir -p ./${build_path}${current_date}/${package_path} fi else package_path=${package_path%/*} fi cp -afx ${file_path} ./${build_path}${current_date}/${package_path} fidone
源码直通车!!!:https://github.com/CatalpaFla...
到此为止,1.0 版本的简陋版本初步实现,目测能够应用,哈哈哈哈
(完)
举荐浏览:
太赞了,SpringBoot+Vue前后端拆散残缺入门教程!
分享一套SpringBoot开发博客零碎源码,以及残缺开发文档!速度保留!
Github上最值得学习的100个Java开源我的项目,涵盖各种技术栈!
2020年最新的常问企业面试题大全以及答案