写在后面：本篇内容来自于 MIT 推出的课程：计算机教育中缺失的一课，这门课程介绍了命令行、弱小的文本编辑器的应用、应用版本控制系统提供的多种个性等等。中文课程主页：https://missing-semester-cn.github.io/。

本篇为学习第二节课所做的笔记，主题是 Shell 工具和脚本，在这节课中，介绍了 bash 作为脚本语言的一些根底操作，以及几种最罕用的shell工具。

  • 变量赋值： foo=bar，留神两头不能增加空格
  • Bash中的字符串通过 ' 和 "分隔符来定义，然而它们的含意并不相同。以 ' 定义的字符串为原义字符串，其中的变量不会被本义，而 "定义的字符串会将变量值进行替换。
  • 函数编写：应用 "$1"获取变量值
mcd () {    mkdir -p "$1"    cd "$1"}

  • bash中的非凡变量

    • $0 - 脚本名
    • $1 到 $9 - 脚本的参数。 $1 是第一个参数，依此类推。
    • $@ - 所有参数
    • $# - 参数个数
    • $? - 前一个命令的返回值
    • $$ - 以后脚本的过程识别码
    • !! - 残缺的上一条命令，包含参数。常见利用：当你因为权限有余执行命令失败时，能够应用 sudo !!再尝试一次。
    • $_ - 上一条命令的最初一个参数。如果你正在应用的是交互式shell，你能够通过按下 Esc 之后键入 . 来获取这个值。
  • 非凡变量能够搭配短路运算符，来中断程序的运行
  • 命令替换：以变量的模式获取一个命令的输入，当通过 $( CMD )这样的形式来执行 CMD 这个命令时，它的输入后果会替换掉 $( CMD ) 。例如，如果执行 for file in $(ls) ，shell首先将调用 ls ，而后遍历失去的这些返回值。
  • 过程替换：还有一个冷门的相似个性是 过程替换（process substitution）， <(CMD) 会执行 CMD 并将后果输入到一个临时文件中，并将 <( CMD ) 替换成长期文件名。这在咱们心愿返回值通过文件而不是STDIN传递时很有用。例如， diff <(ls foo) <(ls bar) 会显示文件夹 foo 和 bar 中文件的区别。
  • 程序示例，变量为文件名，如果文件名中蕴含“foobar”，不进行操作，否则退出”foobar“
#!/bin/bashecho "Starting program at $(date)" # date会被替换成日期和工夫echo "Running program $0 with $# arguments with pid $$"for file in "$@"; do    grep foobar "$file" > /dev/null 2> /dev/null    # 如果模式没有找到，则grep退出状态为 1    # 咱们将规范输入流和规范谬误流重定向到Null，因为咱们并不关怀这些信息    if [[ $? -ne 0 ]]; then        # 这里的空格不能少        echo "File $file does not have any foobar, adding one"        echo "# foobar" >> "$file"    fidone

  • 批量解决文件时十分有用：bash 通配（globbing）。

    • 通配符 - 当你想要利用通配符进行匹配时，能够别离应用 ? 和 * 来匹配一个或任意个字符。
    • 花括号 {} - 当你有一系列的指令，其中蕴含一段公共子串时，能够用花括号来主动开展这些命令。这在批量挪动或转换文件时十分不便。
convert image.{png,jpg}# 会开展为convert image.png image.jpgcp /path/to/project/{foo,bar,baz}.sh /newpath# 会开展为cp /path/to/project/foo.sh /path/to/project/bar.sh /path/to/project/baz.sh /newpath# 也能够联合通配应用mv *{.py,.sh} folder# 会挪动所有 *.py 和 *.sh 文件mkdir foo bar# 上面命令会创立foo/a, foo/b, ... foo/h, bar/a, bar/b, ... bar/h这些文件touch {foo,bar}/{a..h}touch foo/x bar/y# 比拟文件夹 foo 和 bar 中蕴含文件的不同diff <(ls foo) <(ls bar)# 输入# < x# ---# > y
  • 查看shell脚本中的谬误工具：shellcheck，有程序，也有插件
  • 查找帮忙： man 程序，然而输入太长，能够应用 tldr 程序，输入几个例子（十分有用！）
  • 查找文件： find 和 fd ， fd 默认反对应用正则查找，更加合乎直觉。 locate 应用数据库的形式更加疾速的搜寻，然而缺点是只能通过文件名来查找。
  • 查找代码： grep 有很多选项，这也使它成为一个十分全能的工具。其中我常常应用的有 -C ：获取查找后果的上下文（Context）；-v 将对后果进行反选（Invert），也就是输入不匹配的后果。举例来说， grep -C 5 会输入匹配后果前后五行。当须要搜寻大量文件的时候，应用 -R 会递归地进入子目录并搜寻所有的文本文件。然而，咱们有很多方法能够对 grep -R 进行改良，例如使其疏忽.git 文件夹，应用多CPU等等。因而呈现了很多替代品：比拟罕用的是 ripgrep (rg) ，因为它速度快，而且用法十分合乎直觉。例子如下：
# 查找所有应用了 requests 库的文件rg -t py 'import requests'# 查找所有没有写 shebang 的文件（蕴含暗藏文件）rg -u --files-without-match "^#!"# 查找所有的foo字符串，并打印其之后的5行rg foo -A 5# 打印匹配的统计信息（匹配的行和文件的数量）rg --stats PATTERN

  • 查找命令

    • history 拜访shell中输出的历史命令
    • 对于大多数的shell来说，能够应用 Ctrl+R 对命令历史记录进行回溯搜寻。敲 Ctrl+R 后能够输出子串来进行匹配，查找历史命令行。重复按下就会在所有搜寻后果中循环。在 zsh中，应用方向键上或下也能够实现这项工作。

  • 导航

    • ranger
    • autojump，命令 j

习题局部

  1. ls 命令

    1. 显示所有文件： ls -a
    2. 以能够了解的格局输入： ls -lh
    3. 以最近拜访程序排序： ls -tl
  2. 编写两个bash函数： marco 和 polo 执行上面的操作。 每当你执行 marco 时，以后的工作目录该当以某种模式保留，当执行 polo 时，无论当初处在什么目录下，都该当 cd 回到过后执行 marco 的目录。 为了不便debug，你能够把代码写在独自的文件 marco.sh 中，并通过 source marco.sh命令，（从新）加载函数。
macro () {    current="$(pwd)"    echo "$current saved to cache"}polo () {    cd "$current"    echo "jump to $current"}
  1. 假如您有一个命令，它很少出错。因而为了在出错时可能对其进行调试，须要破费大量的工夫重现谬误并捕捉输入。 编写一段bash脚本，运行如下的脚本直到它出错，将它的规范输入和规范谬误流记录到文件，并在最初输入所有内容。 加分项：报告脚本在失败前共运行了多少次。
#!/usr/bin/env bashcount=0while true; do    n=$((RANDOM % 100))    if [[ n -eq 42 ]]; then        echo "Something went wrong"        echo >&2 "The error was using magic numbers"        echo "Program successfully ran $count times\n"        exit 1    fi    ((count += 1))    echo "ran successfully"doneecho $countecho "Everything went according to plan"

执行： sh [capture.sh](http://capture.sh/) 1> output 2> error; cat output; cat error

  1. 您的工作是编写一个命令，它能够递归地查找文件夹中所有的HTML文件，并将它们压缩成zip文件。留神，即便文件名中蕴含空格，您的命令也应该可能正确执行（提醒：查看 xargs的参数-d，译注：MacOS 上的 xargs没有-d，查看这个issue）。如果您应用的是 MacOS，请留神默认的 BSD find 与GNU coreutils 中的是不一样的。你能够为find增加-print0选项，并为 xargs 增加 -0 选项。作为 Mac 用户，您须要留神 mac 零碎自带的命令行工具和 GNU 中对应的工具是有区别的；如果你想应用 GNU 版本的工具，也能够应用 brew 来装置。
find *.html | xargs -d zip compressed.zip
  1. (进阶) 编写一个命令或脚本递归的查找文件夹中最近应用的文件。更通用的做法，你能够依照最近的应用工夫列出文件吗？