Shell脚本结合Git实现增量项目部署

101次阅读

共计 6014 个字符，预计需要花费 16 分钟才能阅读完成。

小 Hub 领读：

脚本代码这么多，不是运维可能会真不会写哈哈。普通人用 jenkins 全量挺好的，然而代码过多时候就比拟麻烦，而且 jenkins 个别也要配合脚本应用更加合乎业务。

作者：CatalpaFlat

https://juejin.im/post/5cf0ed…

利用部署是开发、测试、上线必须面对的一个过程，尤其是微服务架构的呈现，运维部署从单体的部署逐步脱离出，并且越显简单。

然而，抛开多语言，多环境，集群，分布式的部署之外。就单单探讨增量部署和全量部署

1. 增量和全量部署

部署，除却我的项目初始化部署，最现实的状况即为： 新版本更改哪些内容则更新哪些内容

1.1 增量部署

1.1.1 增量部署简介

增量部署个别指在每次部署过程中首先提取以后版本和行将部署版本之间的增量（包含代码、可执行文件或者配置等），并在部署过程中仅更新增量局部。

1.1.2 常见部署流程

  1. 利用代码管理工具（SVN、GIT 等）提取两个版本之间的增量，并联合其余方面的增量变动。
  2. 依照增量局部制订具体的部署形式，编写部署脚本，并筹备增量部署包（包含混同代码等）。
  3. 散发和部署增量部署包到曾经运行上一版本的指标环境，实现零碎的版本升级。

1.1.3 增量部署长处

  1. 部署速度快。每次只对增量局部进行更新，缩短部署工夫
  2. 缩小变动量。缩小对整个零碎的变动幅度，有些配置内容是不须要每次都更新迭代的
  3. 进步安全性。因为每次支队增量进行更新，防止全副代码的泄露

1.1.4 增量部署毛病

  1. 增量部署 若存在其余外在部署环境依赖，则升高部署效率

    增量部署不像

  2. 部署环境多的状况下，对可重复性要求高
  3. 增量部署对回滚操作变得不敌对

1.2 如何抉择增量还是全量

现有的自动化部署，大多数都 全量部署，但全量部署也有一些弊病。但能够通过一些策略进行筛选：

  • 提前准全量部署的所有配置和资料（部署包，外在配置文件等）在进行部署，能够提高效率和速度
  • 应用灰度公布或负载平衡等办法升高全量部署对利用可用性的影响

    对于古代零碎中绝大部分状态无关的部署单元（利用、模块，微服务等）， 全量部署个别应是最优的抉择 。而状态相干的部署单元（数据库等）则仍然适宜增量部署逻辑。

2. 进入主题

后面讲述了一些对于增量和全量部署的状况。接下来讲述如何通过 shell 脚本联合 Git Log 进行增量部署

2.1 前提环境

  • Java 我的项目
  • Maven 进行治理
  • Git 作为代码仓库

2.2 shell 脚本

shell 老手，写得不够完满，轻喷。

2.2.1 整个 shell 脚本的模块

  • Git 环境筹备
  • Maven 对欲构建我的项目进行编译
  • 创立增量部署文件夹
  • 检索我的项目 target 目录
  • 通过 git diff 检索两次 commit 之间的差别，再通过检索将对应文件拷贝到“增量文件夹”中

2.2.2 Git 环境筹备 

# git 环境

if [[! -d ".git"]]; then
    ECHO error: please init  Git Repository
    exit 1;
fi

if [[! -z ${branch} ]]; then
    git checkout ${branch}
fi

# 获取默认 commit-hash
if [[-z "$begin_hash"]] && [[-z "$end_hash"]] ; then
    for p in $(git log --pretty=oneline -2) ; do
        if [[${#p} -eq 40 ]]; then
            if [[-z ${begin_hash} ]]; then
                begin_hash=${p}
            else
                end_hash=${p}
                break
            fi
        fi
    done
fi

is_begin_has=false

# 是否以后最新 commit
if [[$(git log --pretty=oneline -1) == *${begin_hash}* ]]; then
    is_begin_has=true
fi

# 非以后最新分支 commit，回滚到原始版本，可能过后 maven 原始配置不反对 compile 或会呈现构建失败（如：应用本地仓 / 公有仓库等）if [[${is_begin_has} = false ]]; then
    project_path=$(pwd)
    project_name=${project_path##*/}
    cd ..
    build_project_name=${project_name}_build_temp_project
    if [[! -d ${build_project_name} ]]; then
        mkdir ${build_project_name}
    fi
    \cp -rf  ${project_name}/.  ${build_project_name}
    cd ${build_project_name}
    git reset --hard ${begin_hash}
fi
复制代码
2.2.2.1 校验是否 git 仓库代码 
if [[! -d ".git"]]; then
    ECHO error: please init  Git Repository
    exit 1;
fi
复制代码
2.2.2.2 查看是否须要切换分支 
if [[! -z ${branch} ]]; then
    git checkout ${branch}
fi
2.2.2.3 是否须要设置默认构建的 commit 值

若执行构建时，没给增加 –begin_hash= 和 –end_hash= 进行赋值，则默认应用最新的两次 commit 来进行增量部署。

通过 git log –pretty=oneline -2 获取最近两次 commit 的 hash

# 获取默认 commit-hash
if [[-z "$begin_hash"]] && [[-z "$end_hash"]] ; then
    for p in $(git log --pretty=oneline -2) ; do
        if [[${#p} -eq 40 ]]; then
            if [[-z ${begin_hash} ]]; then
                begin_hash=${p}
            else
                end_hash=${p}
                break
            fi
        fi
    done
fi
复制代码
2.2.2.4 校验传参的 begin_hash 值是否为以后分支最新 commit hash

若非以后分支最新 commit hash，则须要回滚到对应 commit，进行我的项目构建编译 

if [[$(git log --pretty=oneline -1) == *${begin_hash}* ]]; then
    is_begin_has=true
fi
复制代码
2.2.2.5 若 begin_hash 非以后最新 commit hash

若传参 begin_hash 的值非以后最新 commit hash。则须要回滚到对应 commit 进行构建编译。

  1. 将现有我的项目进行拷贝到新的目录环境
  2. 到新目录环境对我的项目进行 reset，用于构建我的项目 
if [[${is_begin_has} = false ]]; then
    project_path=$(pwd)
    project_name=${project_path##*/}
    cd ..
    build_project_name=${project_name}_build_temp_project
    if [[! -d ${build_project_name} ]]; then
        mkdir ${build_project_name}
    fi
    \cp -rf  ${project_name}/.  ${build_project_name}
    cd ${build_project_name}
    git reset --hard ${begin_hash}
fi
复制代码

2.2.3 Maven 对欲构建我的项目进行编译

对我的项目进行编译，生成对应 class 文件以及相干配置文件 

mvn clean compile -q -DskipTest
复制代码

若历史版本中存在应用本地仓库，而 maven 中没有配置好的状况能够重新配置, 通过 scope 以及 systemPath 进行引入，如：

<dependency>
    <groupId>cn.catalpaflat</groupId>
    <artifactId>core</artifactId>
    <version>1.0.0</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/core-1.0.jar</systemPath>
</dependency>
复制代码

2.2.4 创立增量部署文件夹

为了避免增量文件夹被删除或者被 commit 到 git 仓库，能够统一化到一个目录中，并通过 .gitignore 对其进行疏忽。能够比对每次增量部署的差别 

build_path=build-path/
current_date=`date +%Y%m%d%H%m%s`

if [[! -d "$build_path$current_date"]]; then
    mkdir -p ${build_path}${current_date}
else
    rm -rf ${build_path}${current_date}
    mkdir -p ${build_path}${current_date}
fi
复制代码

2.2.5 检索我的项目 target 目录

若我的项目为 Maven 我的项目，并且是 Java 我的项目，因为存在 Maven 多模块状况，须要检索每个模块下的编译后的代码门路，用于后续进行 class 等文件的拷贝。

default_target_paths=()
default_java_file=java

module_index=0
# 检索以后我的项目是否 maven 多模块开发，递归检索，并设置其编译后的代码地位（暂只提供了 java 类型）obtain_module(){for module in ` cat ./pom.xml | grep '<module>' | awk -F '>' '{print $2}' | awk -F '<' '{print $1}' `
    do
        cd ${module}

        if [[! -d "/pom.xml"]]; then
           module_exist=`cat ./pom.xml | grep '<module>' | awk -F '>' '{print $2}' | awk -F '<' '{print $1}'`
           if [[-z ${module_exist} ]]; then
                if [[! -d "/target"]]; then
                    if [[-z $1]]; then
                        default_target_paths[module_index]=${module}/target/classes
                    else
                        default_target_paths[module_index]=$1/${module}/target/classes
                    fi
                    ((module_index++))
                fi
           else
                 if [[-z $1]]; then
                      obtain_module ${module}
                 else
                      obtain_module $1/${module}
                 fi
           fi
        fi
        cd ..
    done
}

obtain_module
复制代码

2.2.6 检索并拷贝变更文件到增量文件夹

  1. git diff –name-only 排查两次 commit 之间文件差别
  2. 并将 begin_hash 的 commit 编译后的代码拷贝到增量文件夹中，以备后续打包进行部署 
# 通过 git diff --name-only 实现两次 commit 之间文件差别，并且将 begin_hash 的代码进行编译后，将差别的文件拷贝到“增量文件夹”中，以备后续进行增量部署

for file_path in $(git diff --name-only ${begin_hash} ${end_hash}) ; do
    package_path=${file_path%/*}
    file_name=${file_path##*/}
    file_type=${file_name##*.}
    # 文件所在校验文件夹是否创立
    if [[${package_path} != *.* ]]; then
          if [[! -d "./${build_path}${current_date}/$package_path" ]] ; then
                mkdir -p ./${build_path}${current_date}/${package_path}
           fi
    fi
    # 是否 java
    if [[${file_type} = ${default_java_file} ]]; then
        module_path=${package_path##*java}
        file_class_name=${file_name%.*}
        module_type=${package_path%%/*}
        # 排查在哪个 maven 模块门路下
        for default_target_path in ${default_target_paths[@]}; do
            target_module_path=$(echo ${default_target_path} | awk -F '/target/' '{print $1}')
            file_target_module_path=$(echo ${package_path} | awk -F '/src/' '{print $1}')
            file_target_package_path=$(echo ${package_path} | awk -F '/src/main/java/' '{print $2}')
            default_module_type=${default_target_path%%/*}
            if [[${target_module_path} = ${file_target_module_path} ]]; then
                # 排查到对应 maven 模块的 target 目录，进行 cp 操作
                cp -afx ${default_target_path}/${file_target_package_path}/${file_class_name}* ./${build_path}${current_date}/${package_path}
            fi
        done

    else
    # 非 java 文件，间接拷贝文件到对应目录下
        if [[${package_path} != *.* ]]; then
            if [[! -d "./${build_path}${current_date}/$package_path" ]] ; then
                mkdir -p ./${build_path}${current_date}/${package_path}
            fi
        else
             package_path=${package_path%/*}
        fi

        cp -afx ${file_path} ./${build_path}${current_date}/${package_path}

    fi
done

源码直通车！！！:https://github.com/CatalpaFla…

到此为止，1.0 版本的简陋版本初步实现，目测能够应用，哈哈哈哈

(完)

举荐浏览：

太赞了，SpringBoot+Vue 前后端拆散残缺入门教程！

分享一套 SpringBoot 开发博客零碎源码，以及残缺开发文档！速度保留！

Github 上最值得学习的 100 个 Java 开源我的项目，涵盖各种技术栈！

2020 年最新的常问企业面试题大全以及答案

正文完
shell
发表至： shell
2020-07-13
 0
关于shell:分享我的-Shell-环境git-操作效率提升-100
关于shell:Mac-必装命令行工具-1
关于shell:Shell文本处理三剑客之sed
关于shell:xxxxxsh-line-13-if-N-command-not-found