乐趣区

关于linux:Bash技巧介绍一个批量复制文件到指定目录的Shell脚本

本篇文章介绍一个能够批量复制文件到指定目录的 shell 脚本。

假如这个 shell 脚本的名称为 cpfiles.sh

在理论开发工作中,可能须要依照目录构造来保留一些改变后的文件,以作备份。

这些目录构造可能蕴含多个子目录、或者须要复制多个文件。

如果间接复制里面的目录,会蕴含没有产生改变的文件。

如果手动创立各个子目录,再来复制多个文件,比拟麻烦。

以后脚本预期把要复制的文件门路保留到一个配置文件外面。

而后解析所给的配置文件,主动创立对应的子目录,复制文件到指定目录下。

当配置了多个文件门路时,就能够批量复制文件。

同时,以后脚本进行了扩大,能够解决 Android 零碎的 repo status 命令打印的批改文件信息。

执行 repo status 查看 Android 源码仓库的改变时,打印的文件信息格式如下:

project frameworks/base/
-m services/core/java/com/android/server/ServiceThread.java
project packages/apps/Music/
-m src/com/android/music/MusicPicker.java

在每个 project 前面,会跟着某个代码仓库绝对于 Android 源码根目录的门路。

接下来的行对应该仓库上面的文件门路,这个文件门路绝对于代码仓库的根目录。

例如,下面的 ServiceThread.java 文件在 Android 源码根目录中的残缺门路是“frameworks/base/services/core/java/com/android/server/ServiceThread.java”

当须要备份 Android 源码多个仓库下产生改变的文件时,能够应用 repo status 列出批改文件信息。

把这些文件信息保留到一个文件外面,以后脚本能够解析这些文件信息,批量复制所列出的文件到指定目录下。

在其余应用 git 治理代码的我的项目上,git log –name-status 打印的批改文件信息跟 repo status 的信息相似。

只是短少了“project project_path”这一行,手动补上这一行,就能够应用以后脚本复制 git 仓库上面的文件。

脚本代码

列出 cpfiles.sh 脚本的具体代码如下所示。

在这个代码中,对大部分要害代码都提供了具体的正文,不便浏览。

这篇文章的前面也会提供一个参考的调用例子,有助了解。

#!/bin/bash
# 在 Android 源码中, 执行 repo status 命令能够查看批改的文件信息. 格局为:
#   project frameworks/base/
#   -m services/core/java/com/android/server/ServiceThread.java
#   project packages/apps/Music/
#   -m src/com/android/music/MusicPicker.java
# 在这些信息中, 每一个 project 段对应一个代码仓库门路. 当须要复制多个
# 仓库的指定代码文件时, 手动复制比拟麻烦. 以后脚本用于解决这种格局的
# 配置信息, 组装失去残缺的文件门路, 并复制后指定的目标目录下.
# 同时, 该脚本也做了扩大, 能够提供要复制的残缺文件门路, 使不局限于复制
# Android 源码目录下的代码文件, 能够复制任意目录下的文件.
# 上面设置 set -e, 一旦报错就进行执行. 例如复制某个文件出错就不再复制.
set -e

show_help()
{
printf "USAGE
    cpfiles.sh [source_fileinfos [target_dir]]
OPTIONS
    该脚本最多能够提供两个参数. 这两个参数是可选的.
    source_fileinfos: 指定保留源文件门路信息的配置文件名.
        如果没有提供该参数, 默认解析的文件名是 'copy-files.txt'.
    target_dir: 指定要把源文件复制到哪个目录下.
        如果没有提供该参数, 默认会复制到当前目录下的 '0- 复制后' 目录.
        如果目标目录不存在, 会主动新建对应的目录.
        这个参数必须是第二个参数. 当提供该参数时, 也要提供第一个参数.
NOTE
    配置源文件门路信息的参考格局如下:
        project base_top_dir1/
        -m     file_sub_path1
        project
        full_file_path2
    一般来说, 每个 project 结尾的段对应不同目录下的文件. 在 project 前面
    能够跟着一个目录门路, 该段的源文件门路会主动加上这个目录门路. 例如,
    在下面例子中, 要复制的残缺文件门路是 base_top_dir1/file_sub_path1
    如果 project 前面没有目录门路, 则该段的文件门路就是要复制的残缺门路.
"
}

# 上面变量指定配置源文件门路信息的文件名. 解析该文件失去要复制的文件门路.
SRC_FILEINFO="copy-files.txt"
# 这个脚本的第一个参数用于指定配置源文件门路信息的文件名.
# 如果没有提供第一个参数, 则应用默认的配置文件名.
if [$# -gt 0]; then
    SRC_FILEINFO="$1"
fi

# 上面变量指定源文件被复制到的目标目录名, 会在当前工作目录下新建该目录.
COPY_TARGET_TOP_DIR="0- 复制后"
# 这个脚本的第二个参数用于指定源文件被复制到的目标目录名.
# 如果没有提供第二个参数, 则应用默认的目标目录名.
if [$# -eq 2]; then
    COPY_TARGET_TOP_DIR="$2"
fi

if [$# -gt 2]; then
    echo "出错: 该脚本最多只能提供两个参数."
    show_help
    exit 1
fi

# 查看当前工作目录下是否存在一个指定的配置文件. 如果不存在, 则报错返回.
if [! -f "${SRC_FILEINFO}" ]; then
    echo "出错: 在当前目录下不存在要解析的 ${SRC_FILEINFO} 文件."
    show_help
    exit 2
fi

# 从 SRC_FILEINFO 配置文件解析出残缺的源文件门路信息后, 把这些信息写入到
# FULL_FILEPATH 对应的文件外面. 基于 FULL_FILEPATH 文件保留的文件门路进行复制.
FULL_FILEPATH="full_filepaths.txt"

# 从所给文件中解析要复制的源文件门路信息. 第一个参数指定被解析的文件名.
# 解析失去的残缺源文件门路信息会写入 FULL_FILEPATH 变量指定的文件外面.
# 所给配置文件外面配置了要复制的源文件门路信息. 具体格局如下:
#   project base_top_dir1/
#   foo     file_sub_path1
#   project
#   full_file_path2
# 配置内容能够分为多段. 每段以 project 结尾. 每段外面能够配置多个源文件门路.
# 如果在 project 前面跟着一个目录门路, 则该段的文件门路后面会主动加上这个目录
# 门路. 例如在下面格局中, 理论要复制的文件门路是 base_top_dir1/file_sub_path1.
# 此时, 该段的文件门路后面要有一个 foo 占位字符串, 具体内容不限, 但肯定要有.
# 这个格局是为了合乎 Android 的 repo status 命令打印的文件信息.
# 如果 project 前面没有提供目录门路, 示意该段的文件门路就是残缺的目录门路. 如果
# 所给的文件门路是相对路径, 须要确保执行时的工作目录能够寻址到这个相对路径.
parse_file_infos()
{if [ $# -ne 1]; then
        echo "Usage: ${FUNCNAME} filename"
        return 1
    fi
    # 所给的第一个参数指定要解析的配置文件名.
    local parsefile="${1}"
    # 上面变量对应每段开始的 project 字符串.
    local IDENTIFY_PROJECT="project"
    local fileline lastchar
    local header project_dir sub_file_path full_file_path

    # 如果文件的最初一行没有以换行符 '\n' 结尾, read 命令在读取最初一行
    # 时会返回 false, 从而退出上面的 while 循环, 导致最初一行没有被解决,
    # 会少复制一个文件. 上面应用 tail 命令获取文件的最初一个字符. 因为
    # $() 表达式会去掉输入后果开端的换行符, 如果文件的最初一个字符是换
    # 行符, 通过 "$()" 扩大后会变成空. 能够通过判断扩大后的后果是否为空
    # 来确认文件是否以换行符结尾. 如果不以换行符结尾, 则应用 echo 命令
    # 给文件开端追加一个换行符. test -n 命令判断字符串不为空时返回 true.
    if test -n "$(tail"${parsefile}"-c 1)"; then
        echo >> "${parsefile}"
    fi

    # /dev/null 是一个空文件, 输入这个文件的内容为空. 重定向到
    # FULL_FILEPATH 文件, 清空该文件的内容, 防止原有内容的影响.
    cat /dev/null > "${FULL_FILEPATH}"

    while read fileline; do
        header="$(echo ${fileline} | awk'{print $1}')"
        if ["${header}" == "${IDENTIFY_PROJECT}" ]; then
            project_dir="$(echo ${fileline} | awk'{print $2}')"
            # project_dir 被作为目录门路应用, 要求最初一个
            # 字符必须是 '/', 以便组装成目录门路. 如果没有
            # 以 '/' 结尾, 则在该变量值前面加上 '/' 字符.
            if [-n "${project_dir}" ]; then
                lastchar="${project_dir: -1:1}"
                if ["${lastchar}" != "/" ]; then
                    project_dir="${project_dir}/"
                fi
            fi
        elif [-n "${fileline}" ]; then
            # 当文件中有空行时, fileline 的内容是空字符串. 前面组装
            # sub_file_path 的值会有异样, 所以下面用 - n 判断不为空才解决.
            #
            # 如果以后行没有以 project 结尾, 那么对应要复制的文件门路.
            # 当 project_dir 不为空时, 示意以后解析的段配置了目录门路,
            # 那么源文件门路后面会有一个占位字符串, 所以要获取空格隔开
            # 的第二列内容才是文件门路. 如果 project_dir 为空, 则这一
            # 行就是残缺的源文件门路.
            if [-n "${project_dir}" ]; then
                sub_file_path="$(echo ${fileline} | awk'{print $2}')"
            else
                sub_file_path="${fileline}"
            fi
            full_file_path="${project_dir}${sub_file_path}"
            echo "${full_file_path}" >> "${FULL_FILEPATH}"
        fi
    done < "${parsefile}"

    # 因为有些文件可能被配置屡次, 上面对生成的内容进行排序, 并删除反复行.
    # sort 命令的 -u 选项示意删除反复行. -o 选项前面提供文件名来指定排序
    # 后的内容要写入哪个文件. 如果没有提供 -o 选项, 默认写到规范输入, 不会
    # 间接批改所给文件本身. 这里指定排序后的内容输入到同一个文件, 覆盖文件.
    sort -u "${FULL_FILEPATH}" -o "${FULL_FILEPATH}"
}

# 该函数解析所给的文件, 从中失去要复制的源文件门路, 复制
# 指定文件到目标目录下. 所给的第一个参数指定要解析的文件名.
# 所给文件的每一行都对应一个要复制的残缺文件门路.
copy_src_files()
{if [ $# -ne 1]; then
        echo "Usage: ${FUNCNAME} filepaths"
        return 1
    fi
    # 所给的第一个参数指定保留了源文件残缺门路信息的文件名
    local copyfiles="$1"
    local source_file_path

    # 先创立目标目录. 这个目录必须先创立, cp 命令能力复制文件过去. 当要
    # 创立的目录曾经存在时, mkdir 命令默认会报错. 应用 -p 选项使不报错.
    mkdir -pv "${COPY_TARGET_TOP_DIR}"

    while read source_file_path; do
        # cp 命令的 --parents 选项会在目标目录下主动创立源文件门路蕴含
        # 的子目录. 不须要先在目标目录下创立各个子目录再复制.
        # cp --parents -v 命令会打印创立两头子目录的信息, 导致打印的
        # 信息比拟多. 先不加 -v 选项. 应用 -u 选项指定只复制较新的文件.
        cp --parents -u "${source_file_path}" "${COPY_TARGET_TOP_DIR}"
    done < "$copyfiles"
}

# 把 Windows 零碎的 dos 格式文件转换成 unix 格局. Dos 格式文件的行末是 \r\n,
# 而 unix 格式文件的行末是 \n, 且把 \r 视作无效字符. 如果不做转换, 那么提供
# 一个 dos 格局的文件, 最初失去的文件门路会蕴含 \r 字符, 且被当做文件名的
# 一部分. 用 cp 命令复制时, 会提醒找不到这样的文件. 在应用 file 命令查看
# dos 格式文件时, 打印的信息蕴含 "CRLF line terminators" 字符串. 查看
# 所给文件的信息是否蕴含该字符串, 就能够判断这个文件是不是 dos 格局.
# 如果是 dos 格式文件, 则执行 dos2unix 命令转换为 unix 格式文件.
if [["$(file SRC_FILEINFO)" =~ "CRLF line terminators" ]]; then
    # dos2unix 命令默认间接批改所给文件本身, 笼罩成 unix 格局.
    dos2unix "${SRC_FILEINFO}"
fi

# 调用 parse_file_infos 函数解析所给文件内容, 失去要复制的源文件门路.
# 解析失去的源文件门路保留在 FULL_FILEPATH 变量名指定的文件外面.
parse_file_infos "${SRC_FILEINFO}"
# 调用 copy_src_files 函数, 基于源文件门路, 复制源文件到目标目录下.
copy_src_files "${FULL_FILEPATH}"
echo "已复制全副文件到'${COPY_TARGET_TOP_DIR}'目录下."

# 把所给文件和生成的门路信息文件挪动到目标目录下, 以便记录文件起源.
cp -v "${SRC_FILEINFO}" "${COPY_TARGET_TOP_DIR}/"
mv -v "${FULL_FILEPATH}" "${COPY_TARGET_TOP_DIR}/"

exit

一个参考的测试例子

为了测试以后的 cpfiles.sh 脚本,能够先执行上面命令来创立一些目录和文件:

$ mkdir -p top/sub1/left1/left2
$ mkdir -p top/sub1/right1/
$ mkdir -p top/sub2/sub3
$ touch top/sub1/left1/left2/left_file.txt
$ touch top/sub1/right1/right_file.txt
$ touch top/sub2/sub3/sub_file.txt

这几个命令在当前工作目录下创立了一个 top 目录。

在这个 top 目录底下还有一些子目录和文件。总共新建了三个文本文件。

上面会应用 cpfiles.sh 脚本来复制这三个文本文件,且保留在对应的目录构造外面。

基于下面创立的目录和文件,能够新建一个 copy-files.txt 文件,并在文件外面配置如下内容:

project top/sub1/
a   left1/left2/left_file.txt
a   right1/right_file.txt
project
top/sub2/sub3/sub_file.txt

在这个配置信息中,第一个 project 段前面跟着 top/sub1/ 目录门路。

那么该段下的文件门路会主动加上这个目录门路。

例如,所配置的 left1/left2/left_file.txt 这个文件的残缺复制门路会是“top/sub1/left1/left2/left_file.txt”。

第二个 project 段前面提供目录门路。

那么该段下的文件门路就是残缺的目录门路。

此时,须要确保能够基于当前工作目录寻址到所配置的文件。

cpfiles.sh 脚本和 copy-files.txt 文件放到当前目录下,为脚本增加可执行权限。

具体执行后果如下:

$ ./cpfiles.sh
mkdir: created directory‘0- 复制后’已复制全副文件到 '0- 复制后' 目录下.‘copy-files.txt’->‘0- 复制后 /copy-files.txt’‘full_filepaths.txt’->‘0- 复制后 /full_filepaths.txt’$ ls 0- 复制后 /
copy-files.txt  full_filepaths.txt  top
$ ls 0- 复制后 /top/
sub1  sub2

能够看到,执行 cpfiles.sh 脚本后,会在当前目录新建一个“0- 复制后”目录。

而后把所要复制的文件依照原先的目录构造复制到“0- 复制后”目录下。

同时,还会在“0- 复制后”目录下生成所给的 copy-files.txt 文件、生成的 full_filepaths.txt

这两个文件记录了要复制的文件门路信息,以便后续进入该目录时,能够查看目录下的文件列表信息。

测试完结后,能够执行上面命令来删除所创立的测试目录和文件:

rm -r 0- 复制后 / top/ copy-files.txt
退出移动版