关于shell:Shell-工具和脚本学习笔记

写在后面：本篇内容来自于 MIT 推出的课程：计算机教育中缺失的一课，这门课程介绍了命令行、弱小的文本编辑器的应用、应用版本控制系统提供的多种个性等等。中文课程主页：https://missing-semester-cn.github.io/。

本篇为学习第二节课所做的笔记，主题是 Shell 工具和脚本，在这节课中，介绍了 bash 作为脚本语言的一些根底操作，以及几种最罕用的 shell 工具。

变量赋值：foo=bar，留神两头不能增加空格
Bash 中的字符串通过 ' 和 "分隔符来定义，然而它们的含意并不相同。以 ' 定义的字符串为 原义字符串 ，其中的变量不会被本义，而 " 定义的字符串 会将变量值进行替换。
函数编写：应用 "$1"获取变量值

mcd () {
    mkdir -p "$1"
    cd "$1"
}

bash 中的非凡变量
- $0 – 脚本名
- $1 到 $9 – 脚本的参数。$1 是第一个参数，依此类推。
- $@ – 所有参数
- $# – 参数个数
- $? – 前一个命令的返回值
- $$ – 以后脚本的过程识别码
- !! – 残缺的上一条命令，包含参数 。常见利用：当你因为权限有余执行命令失败时，能够应用 sudo !! 再尝试一次。
- $_ – 上一条命令的最初一个参数。如果你正在应用的是交互式 shell，你能够通过按下 Esc 之后键入 . 来获取这个值。
非凡变量能够搭配短路运算符，来中断程序的运行
命令替换 ：以变量的模式获取一个命令的输入，当通过 $(CMD) 这样的形式来执行 CMD 这个命令时，它的输入后果会替换掉 $(CMD)。例如，如果执行 for file in $(ls)，shell 首先将调用 ls，而后遍历失去的这些返回值。
过程替换：还有一个冷门的相似个性是过程替换（process substitution），<(CMD) 会执行 CMD 并将后果输入到一个临时文件中，并将 <(CMD) 替换成长期文件名。这在咱们心愿返回值通过文件而不是 STDIN 传递时很有用。例如，diff <(ls foo) <(ls bar) 会显示文件夹 foo 和 bar 中文件的区别。
程序示例，变量为文件名，如果文件名中蕴含“foobar”，不进行操作，否则退出”foobar“

#!/bin/bash

echo "Starting program at $(date)" # date 会被替换成日期和工夫

echo "Running program $0 with $# arguments with pid $$"

for file in "$@"; do
    grep foobar "$file" > /dev/null 2> /dev/null
    # 如果模式没有找到，则 grep 退出状态为 1
    # 咱们将规范输入流和规范谬误流重定向到 Null，因为咱们并不关怀这些信息
    if [[$? -ne 0]]; then
        # 这里的空格不能少
        echo "File $file does not have any foobar, adding one"
        echo "# foobar" >> "$file"
    fi
done

批量解决文件时十分有用：bash 通配（globbing）。
- 通配符 – 当你想要利用通配符进行匹配时，能够别离应用 ? 和 * 来匹配一个或任意个字符。
- 花括号 {} – 当你有一系列的指令，其中蕴含一段公共子串时，能够用花括号来主动开展这些命令。这在批量挪动或转换文件时十分不便。

convert image.{png,jpg}
# 会开展为
convert image.png image.jpg

cp /path/to/project/{foo,bar,baz}.sh /newpath
# 会开展为
cp /path/to/project/foo.sh /path/to/project/bar.sh /path/to/project/baz.sh /newpath

# 也能够联合通配应用
mv *{.py,.sh} folder
# 会挪动所有 *.py 和 *.sh 文件

mkdir foo bar

# 上面命令会创立 foo/a, foo/b, ... foo/h, bar/a, bar/b, ... bar/ h 这些文件
touch {foo,bar}/{a..h}
touch foo/x bar/y
# 比拟文件夹 foo 和 bar 中蕴含文件的不同
diff <(ls foo) <(ls bar)
# 输入
# < x
# ---
# > y

查看 shell 脚本中的谬误工具：shellcheck，有程序，也有插件
查找帮忙：man 程序，然而输入太长，能够应用 tldr 程序，输入几个例子（十分有用！）
查找文件：find 和 fd，fd 默认反对应用正则查找，更加合乎直觉。locate 应用数据库的形式更加疾速的搜寻，然而缺点是只能通过文件名来查找。
查找代码：grep 有很多选项，这也使它成为一个十分全能的工具。其中我常常应用的有 -C：获取查找后果的上下文（Context）；-v 将对后果进行反选（Invert），也就是输入不匹配的后果。举例来说，grep -C 5 会输入匹配后果前后五行。当须要搜寻大量文件的时候，应用 -R 会递归地进入子目录并搜寻所有的文本文件。然而，咱们有很多方法能够对 grep -R 进行改良，例如使其疏忽.git 文件夹，应用多 CPU 等等。因而呈现了很多替代品：比拟罕用的是 ripgrep (rg)，因为它速度快，而且用法十分合乎直觉。例子如下：

# 查找所有应用了 requests 库的文件
rg -t py 'import requests'
# 查找所有没有写 shebang 的文件（蕴含暗藏文件）rg -u --files-without-match "^#!"
# 查找所有的 foo 字符串，并打印其之后的 5 行
rg foo -A 5
# 打印匹配的统计信息（匹配的行和文件的数量）rg --stats PATTERN

查找命令
- history 拜访 shell 中输出的历史命令
- 对于大多数的 shell 来说，能够应用 Ctrl+R 对命令历史记录进行回溯搜寻。敲 Ctrl+R 后能够输出子串来进行匹配，查找历史命令行。重复按下就会在所有搜寻后果中循环。在 zsh 中，应用方向键上或下也能够实现这项工作。
导航
- ranger
- autojump，命令 j

ls 命令
1. 显示所有文件：ls -a
2. 以能够了解的格局输入：ls -lh
3. 以最近拜访程序排序：ls -tl
编写两个 bash 函数：marco 和 polo 执行上面的操作。每当你执行 marco 时，以后的工作目录该当以某种模式保留，当执行 polo 时，无论当初处在什么目录下，都该当 cd 回到过后执行 marco 的目录。为了不便 debug，你能够把代码写在独自的文件 marco.sh 中，并通过 source marco.sh 命令，（从新）加载函数。

macro () {current="$(pwd)"
    echo "$current saved to cache"
}

polo () {
    cd "$current"
    echo "jump to $current"
}

假如您有一个命令，它很少出错。因而为了在出错时可能对其进行调试，须要破费大量的工夫重现谬误并捕捉输入。编写一段 bash 脚本，运行如下的脚本直到它出错，将它的规范输入和规范谬误流记录到文件，并在最初输入所有内容。加分项：报告脚本在失败前共运行了多少次。

#!/usr/bin/env bash

count=0
while true; do
    n=$((RANDOM % 100))

    if [[n -eq 42]]; then
        echo "Something went wrong"
        echo >&2 "The error was using magic numbers"
        echo "Program successfully ran $count times\n"
        exit 1
    fi
    ((count += 1))
    echo "ran successfully"
done

echo $count
echo "Everything went according to plan"

执行：sh [capture.sh](http://capture.sh/) 1> output 2> error; cat output; cat error

您的工作是编写一个命令，它能够递归地查找文件夹中所有的 HTML 文件，并将它们压缩成 zip 文件。留神，即便文件名中蕴含空格，您的命令也应该可能正确执行（提醒：查看 xargs 的参数 -d，译注：MacOS 上的 xargs 没有 -d，查看这个 issue）。如果您应用的是 MacOS，请留神默认的 BSD find 与 GNU coreutils 中的是不一样的。你能够为 find 增加 -print0 选项，并为 xargs 增加 -0 选项。作为 Mac 用户，您须要留神 mac 零碎自带的命令行工具和 GNU 中对应的工具是有区别的；如果你想应用 GNU 版本的工具，也能够应用 brew 来装置。

find *.html | xargs -d zip compressed.zip

(进阶) 编写一个命令或脚本递归的查找文件夹中最近应用的文件。更通用的做法，你能够依照最近的应用工夫列出文件吗？

习题局部