关于linux:Bash技巧介绍一个批量复制文件到指定目录的Shell脚本

72次阅读

共计 7142 个字符,预计需要花费 18 分钟才能阅读完成。

本篇文章介绍一个能够批量复制文件到指定目录的 shell 脚本。

假如这个 shell 脚本的名称为 cpfiles.sh

在理论开发工作中,可能须要依照目录构造来保留一些改变后的文件,以作备份。

这些目录构造可能蕴含多个子目录、或者须要复制多个文件。

如果间接复制里面的目录,会蕴含没有产生改变的文件。

如果手动创立各个子目录,再来复制多个文件,比拟麻烦。

以后脚本预期把要复制的文件门路保留到一个配置文件外面。

而后解析所给的配置文件,主动创立对应的子目录,复制文件到指定目录下。

当配置了多个文件门路时,就能够批量复制文件。

同时,以后脚本进行了扩大,能够解决 Android 零碎的 repo status 命令打印的批改文件信息。

执行 repo status 查看 Android 源码仓库的改变时,打印的文件信息格式如下:

project frameworks/base/
-m services/core/java/com/android/server/ServiceThread.java
project packages/apps/Music/
-m src/com/android/music/MusicPicker.java

在每个 project 前面,会跟着某个代码仓库绝对于 Android 源码根目录的门路。

接下来的行对应该仓库上面的文件门路,这个文件门路绝对于代码仓库的根目录。

例如,下面的 ServiceThread.java 文件在 Android 源码根目录中的残缺门路是“frameworks/base/services/core/java/com/android/server/ServiceThread.java”

当须要备份 Android 源码多个仓库下产生改变的文件时,能够应用 repo status 列出批改文件信息。

把这些文件信息保留到一个文件外面,以后脚本能够解析这些文件信息,批量复制所列出的文件到指定目录下。

在其余应用 git 治理代码的我的项目上,git log –name-status 打印的批改文件信息跟 repo status 的信息相似。

只是短少了“project project_path”这一行,手动补上这一行,就能够应用以后脚本复制 git 仓库上面的文件。

脚本代码

列出 cpfiles.sh 脚本的具体代码如下所示。

在这个代码中,对大部分要害代码都提供了具体的正文,不便浏览。

这篇文章的前面也会提供一个参考的调用例子,有助了解。

#!/bin/bash
# 在 Android 源码中, 执行 repo status 命令能够查看批改的文件信息. 格局为:
#   project frameworks/base/
#   -m services/core/java/com/android/server/ServiceThread.java
#   project packages/apps/Music/
#   -m src/com/android/music/MusicPicker.java
# 在这些信息中, 每一个 project 段对应一个代码仓库门路. 当须要复制多个
# 仓库的指定代码文件时, 手动复制比拟麻烦. 以后脚本用于解决这种格局的
# 配置信息, 组装失去残缺的文件门路, 并复制后指定的目标目录下.
# 同时, 该脚本也做了扩大, 能够提供要复制的残缺文件门路, 使不局限于复制
# Android 源码目录下的代码文件, 能够复制任意目录下的文件.
# 上面设置 set -e, 一旦报错就进行执行. 例如复制某个文件出错就不再复制.
set -e

show_help()
{
printf "USAGE
    cpfiles.sh [source_fileinfos [target_dir]]
OPTIONS
    该脚本最多能够提供两个参数. 这两个参数是可选的.
    source_fileinfos: 指定保留源文件门路信息的配置文件名.
        如果没有提供该参数, 默认解析的文件名是 'copy-files.txt'.
    target_dir: 指定要把源文件复制到哪个目录下.
        如果没有提供该参数, 默认会复制到当前目录下的 '0- 复制后' 目录.
        如果目标目录不存在, 会主动新建对应的目录.
        这个参数必须是第二个参数. 当提供该参数时, 也要提供第一个参数.
NOTE
    配置源文件门路信息的参考格局如下:
        project base_top_dir1/
        -m     file_sub_path1
        project
        full_file_path2
    一般来说, 每个 project 结尾的段对应不同目录下的文件. 在 project 前面
    能够跟着一个目录门路, 该段的源文件门路会主动加上这个目录门路. 例如,
    在下面例子中, 要复制的残缺文件门路是 base_top_dir1/file_sub_path1
    如果 project 前面没有目录门路, 则该段的文件门路就是要复制的残缺门路.
"
}

# 上面变量指定配置源文件门路信息的文件名. 解析该文件失去要复制的文件门路.
SRC_FILEINFO="copy-files.txt"
# 这个脚本的第一个参数用于指定配置源文件门路信息的文件名.
# 如果没有提供第一个参数, 则应用默认的配置文件名.
if [$# -gt 0]; then
    SRC_FILEINFO="$1"
fi

# 上面变量指定源文件被复制到的目标目录名, 会在当前工作目录下新建该目录.
COPY_TARGET_TOP_DIR="0- 复制后"
# 这个脚本的第二个参数用于指定源文件被复制到的目标目录名.
# 如果没有提供第二个参数, 则应用默认的目标目录名.
if [$# -eq 2]; then
    COPY_TARGET_TOP_DIR="$2"
fi

if [$# -gt 2]; then
    echo "出错: 该脚本最多只能提供两个参数."
    show_help
    exit 1
fi

# 查看当前工作目录下是否存在一个指定的配置文件. 如果不存在, 则报错返回.
if [! -f "${SRC_FILEINFO}" ]; then
    echo "出错: 在当前目录下不存在要解析的 ${SRC_FILEINFO} 文件."
    show_help
    exit 2
fi

# 从 SRC_FILEINFO 配置文件解析出残缺的源文件门路信息后, 把这些信息写入到
# FULL_FILEPATH 对应的文件外面. 基于 FULL_FILEPATH 文件保留的文件门路进行复制.
FULL_FILEPATH="full_filepaths.txt"

# 从所给文件中解析要复制的源文件门路信息. 第一个参数指定被解析的文件名.
# 解析失去的残缺源文件门路信息会写入 FULL_FILEPATH 变量指定的文件外面.
# 所给配置文件外面配置了要复制的源文件门路信息. 具体格局如下:
#   project base_top_dir1/
#   foo     file_sub_path1
#   project
#   full_file_path2
# 配置内容能够分为多段. 每段以 project 结尾. 每段外面能够配置多个源文件门路.
# 如果在 project 前面跟着一个目录门路, 则该段的文件门路后面会主动加上这个目录
# 门路. 例如在下面格局中, 理论要复制的文件门路是 base_top_dir1/file_sub_path1.
# 此时, 该段的文件门路后面要有一个 foo 占位字符串, 具体内容不限, 但肯定要有.
# 这个格局是为了合乎 Android 的 repo status 命令打印的文件信息.
# 如果 project 前面没有提供目录门路, 示意该段的文件门路就是残缺的目录门路. 如果
# 所给的文件门路是相对路径, 须要确保执行时的工作目录能够寻址到这个相对路径.
parse_file_infos()
{if [ $# -ne 1]; then
        echo "Usage: ${FUNCNAME} filename"
        return 1
    fi
    # 所给的第一个参数指定要解析的配置文件名.
    local parsefile="${1}"
    # 上面变量对应每段开始的 project 字符串.
    local IDENTIFY_PROJECT="project"
    local fileline lastchar
    local header project_dir sub_file_path full_file_path

    # 如果文件的最初一行没有以换行符 '\n' 结尾, read 命令在读取最初一行
    # 时会返回 false, 从而退出上面的 while 循环, 导致最初一行没有被解决,
    # 会少复制一个文件. 上面应用 tail 命令获取文件的最初一个字符. 因为
    # $() 表达式会去掉输入后果开端的换行符, 如果文件的最初一个字符是换
    # 行符, 通过 "$()" 扩大后会变成空. 能够通过判断扩大后的后果是否为空
    # 来确认文件是否以换行符结尾. 如果不以换行符结尾, 则应用 echo 命令
    # 给文件开端追加一个换行符. test -n 命令判断字符串不为空时返回 true.
    if test -n "$(tail"${parsefile}"-c 1)"; then
        echo >> "${parsefile}"
    fi

    # /dev/null 是一个空文件, 输入这个文件的内容为空. 重定向到
    # FULL_FILEPATH 文件, 清空该文件的内容, 防止原有内容的影响.
    cat /dev/null > "${FULL_FILEPATH}"

    while read fileline; do
        header="$(echo ${fileline} | awk'{print $1}')"
        if ["${header}" == "${IDENTIFY_PROJECT}" ]; then
            project_dir="$(echo ${fileline} | awk'{print $2}')"
            # project_dir 被作为目录门路应用, 要求最初一个
            # 字符必须是 '/', 以便组装成目录门路. 如果没有
            # 以 '/' 结尾, 则在该变量值前面加上 '/' 字符.
            if [-n "${project_dir}" ]; then
                lastchar="${project_dir: -1:1}"
                if ["${lastchar}" != "/" ]; then
                    project_dir="${project_dir}/"
                fi
            fi
        elif [-n "${fileline}" ]; then
            # 当文件中有空行时, fileline 的内容是空字符串. 前面组装
            # sub_file_path 的值会有异样, 所以下面用 - n 判断不为空才解决.
            #
            # 如果以后行没有以 project 结尾, 那么对应要复制的文件门路.
            # 当 project_dir 不为空时, 示意以后解析的段配置了目录门路,
            # 那么源文件门路后面会有一个占位字符串, 所以要获取空格隔开
            # 的第二列内容才是文件门路. 如果 project_dir 为空, 则这一
            # 行就是残缺的源文件门路.
            if [-n "${project_dir}" ]; then
                sub_file_path="$(echo ${fileline} | awk'{print $2}')"
            else
                sub_file_path="${fileline}"
            fi
            full_file_path="${project_dir}${sub_file_path}"
            echo "${full_file_path}" >> "${FULL_FILEPATH}"
        fi
    done < "${parsefile}"

    # 因为有些文件可能被配置屡次, 上面对生成的内容进行排序, 并删除反复行.
    # sort 命令的 -u 选项示意删除反复行. -o 选项前面提供文件名来指定排序
    # 后的内容要写入哪个文件. 如果没有提供 -o 选项, 默认写到规范输入, 不会
    # 间接批改所给文件本身. 这里指定排序后的内容输入到同一个文件, 覆盖文件.
    sort -u "${FULL_FILEPATH}" -o "${FULL_FILEPATH}"
}

# 该函数解析所给的文件, 从中失去要复制的源文件门路, 复制
# 指定文件到目标目录下. 所给的第一个参数指定要解析的文件名.
# 所给文件的每一行都对应一个要复制的残缺文件门路.
copy_src_files()
{if [ $# -ne 1]; then
        echo "Usage: ${FUNCNAME} filepaths"
        return 1
    fi
    # 所给的第一个参数指定保留了源文件残缺门路信息的文件名
    local copyfiles="$1"
    local source_file_path

    # 先创立目标目录. 这个目录必须先创立, cp 命令能力复制文件过去. 当要
    # 创立的目录曾经存在时, mkdir 命令默认会报错. 应用 -p 选项使不报错.
    mkdir -pv "${COPY_TARGET_TOP_DIR}"

    while read source_file_path; do
        # cp 命令的 --parents 选项会在目标目录下主动创立源文件门路蕴含
        # 的子目录. 不须要先在目标目录下创立各个子目录再复制.
        # cp --parents -v 命令会打印创立两头子目录的信息, 导致打印的
        # 信息比拟多. 先不加 -v 选项. 应用 -u 选项指定只复制较新的文件.
        cp --parents -u "${source_file_path}" "${COPY_TARGET_TOP_DIR}"
    done < "$copyfiles"
}

# 把 Windows 零碎的 dos 格式文件转换成 unix 格局. Dos 格式文件的行末是 \r\n,
# 而 unix 格式文件的行末是 \n, 且把 \r 视作无效字符. 如果不做转换, 那么提供
# 一个 dos 格局的文件, 最初失去的文件门路会蕴含 \r 字符, 且被当做文件名的
# 一部分. 用 cp 命令复制时, 会提醒找不到这样的文件. 在应用 file 命令查看
# dos 格式文件时, 打印的信息蕴含 "CRLF line terminators" 字符串. 查看
# 所给文件的信息是否蕴含该字符串, 就能够判断这个文件是不是 dos 格局.
# 如果是 dos 格式文件, 则执行 dos2unix 命令转换为 unix 格式文件.
if [["$(file SRC_FILEINFO)" =~ "CRLF line terminators" ]]; then
    # dos2unix 命令默认间接批改所给文件本身, 笼罩成 unix 格局.
    dos2unix "${SRC_FILEINFO}"
fi

# 调用 parse_file_infos 函数解析所给文件内容, 失去要复制的源文件门路.
# 解析失去的源文件门路保留在 FULL_FILEPATH 变量名指定的文件外面.
parse_file_infos "${SRC_FILEINFO}"
# 调用 copy_src_files 函数, 基于源文件门路, 复制源文件到目标目录下.
copy_src_files "${FULL_FILEPATH}"
echo "已复制全副文件到'${COPY_TARGET_TOP_DIR}'目录下."

# 把所给文件和生成的门路信息文件挪动到目标目录下, 以便记录文件起源.
cp -v "${SRC_FILEINFO}" "${COPY_TARGET_TOP_DIR}/"
mv -v "${FULL_FILEPATH}" "${COPY_TARGET_TOP_DIR}/"

exit

一个参考的测试例子

为了测试以后的 cpfiles.sh 脚本,能够先执行上面命令来创立一些目录和文件:

$ mkdir -p top/sub1/left1/left2
$ mkdir -p top/sub1/right1/
$ mkdir -p top/sub2/sub3
$ touch top/sub1/left1/left2/left_file.txt
$ touch top/sub1/right1/right_file.txt
$ touch top/sub2/sub3/sub_file.txt

这几个命令在当前工作目录下创立了一个 top 目录。

在这个 top 目录底下还有一些子目录和文件。总共新建了三个文本文件。

上面会应用 cpfiles.sh 脚本来复制这三个文本文件,且保留在对应的目录构造外面。

基于下面创立的目录和文件,能够新建一个 copy-files.txt 文件,并在文件外面配置如下内容:

project top/sub1/
a   left1/left2/left_file.txt
a   right1/right_file.txt
project
top/sub2/sub3/sub_file.txt

在这个配置信息中,第一个 project 段前面跟着 top/sub1/ 目录门路。

那么该段下的文件门路会主动加上这个目录门路。

例如,所配置的 left1/left2/left_file.txt 这个文件的残缺复制门路会是“top/sub1/left1/left2/left_file.txt”。

第二个 project 段前面提供目录门路。

那么该段下的文件门路就是残缺的目录门路。

此时,须要确保能够基于当前工作目录寻址到所配置的文件。

cpfiles.sh 脚本和 copy-files.txt 文件放到当前目录下,为脚本增加可执行权限。

具体执行后果如下:

$ ./cpfiles.sh
mkdir: created directory‘0- 复制后’已复制全副文件到 '0- 复制后' 目录下.‘copy-files.txt’->‘0- 复制后 /copy-files.txt’‘full_filepaths.txt’->‘0- 复制后 /full_filepaths.txt’$ ls 0- 复制后 /
copy-files.txt  full_filepaths.txt  top
$ ls 0- 复制后 /top/
sub1  sub2

能够看到,执行 cpfiles.sh 脚本后,会在当前目录新建一个“0- 复制后”目录。

而后把所要复制的文件依照原先的目录构造复制到“0- 复制后”目录下。

同时,还会在“0- 复制后”目录下生成所给的 copy-files.txt 文件、生成的 full_filepaths.txt

这两个文件记录了要复制的文件门路信息,以便后续进入该目录时,能够查看目录下的文件列表信息。

测试完结后,能够执行上面命令来删除所创立的测试目录和文件:

rm -r 0- 复制后 / top/ copy-files.txt

正文完
 0