awk 列传

jiezi

6 年前

awk 是一种专事文本解析与处理的解释型编程语言，其解释器与其同名注 1。awk 原始版本发布于 1977 年，后于 1985 年发布第一个增强版本。在这一时期，awk 羽翼渐丰，随后成为 Unix 系统的一个标准（POSIX 标准）组件。目前 Linux 系统配备的 awk 皆为 gawk，隶属 GNU 项目，伊始于 1986 年。

注 1：awk 得名于它的三位开发者 Alfred V. Aho、Peter J. Weinberger 以及 Brian W. Kernighan 名字的首字母。
awk 的设计深受 Unix 系统中的文本检索工具 grep 与文本编辑工具 sed 的启发，其语法借鉴了 C 语言。
模式 - 动作
「模式 - 动作」逻辑是 awk 语言的精华所在。awk 认为自身所处理的文本文件里依序存储着一组记录。awk 默认将文件中的每一行视为一条记录注 2，通过模式检索特定记录，而后通过动作修改记录的内容。模式由逻辑表达式或正则表达式构成，而动作则由一组用于分析或处理文本的语句构成。在 awk 解释器看来，模式和动作形成的整体即程序，文件里的每条记录则为程序的输入数据，而动作所产生的结果则为程序的输出数据。

注 2：下文在讲述记录分割符变量 RS 时，再给出让 awk 将多行文本视为一条记录的方法。
例如，对于任意一份文本文件 foo.txt，若仅输出其第三行，可通过 awk 程序
NR == 3 {print $0}
来实现，其中 NR == 3 为模式，而 print $0 为动作。NR 与 $0 皆为 awk 解释器内部维护的变量，前者用于保存 awk 解释器目前所读入的记录的序号，后者用于保存记录的内容。
将上述 awk 程序以及 foo.txt 作为 awk 解释器的输入数据，即在终端中执行
$ awk ‘NR == 3 {print $0}’ foo.txt
则 awk 解释器的输出结果即为 foo.txt 的第三行——awk 解释器默认将其视为第三条记录。为了防止 Shell 误解 awk 程序中的一些成分，必须将后者用单引号拘禁。
上述命令诠释了 awk 解释器、awk 程序以及所处理的文本文件这三者之间的联系。在 awk 的实际应用中，我们需要对所处理的文本文件中的记录有足够的了解，剩下的任务则是编写 awk 程序，即
模式 {动作}
awk 解释器会顺序读取所处理的文本文件里的每一条记录，并验证它是否与模式相匹配。凡是与模式相匹配的记录，便会受模式之后的动作的操控。
模式 - 动作可叠加起来作用于文件的每一条记录。例如，
awk ‘NR == 3 {print $0}; NR == 4 {print $0}’ foo.txt
可以输出 foo.txt 的第 3、4 行。
不妨将 awk 程序里的动作理解为电路，将模式理解为开关。记录与模式匹配时，相当于触动了开关，使得电路得以导通。多条模式 - 动作，相当于有多个候选的开关及电路。
模式可以为空，例如
$ awk ‘{print $0}’ foo.txt
此时，awk 会将动作作用于每一条记录。类似地，动作也可以为空，例如
$ awk ‘NR == 3’ foo.txt
此时，awk 会输出与模式相匹配的每一条记录，这一动作正是 {print $0}。
模式 - 动作的逻辑本质上是所有编程语言中的条件分支结构的泛化。Erlang、Racket、OCaml、Haskell、Swift 等语言提供了令其爱好者们引以为傲的模式匹配的语法所反映的也是这一逻辑。现在，知道了早在 1977 年 awk 便已经极为自然地建立了这一逻辑，应当由衷而叹，太阳底下果然没什么新鲜事！
脚本
为了让 awk 解释器能够在读取文件之前以及所有记录处理殆尽之后也能够有所动作，awk 语言提供了 BEGIN 和 END 这两个特殊的模式。因此较为完整的 awk 程序，其结构通常为
BEGIN {读取文件之前的动作}
模式 1 {动作 1}
模式 2 {动作 2}
… … …
模式 n {动作 n}
END {所有记录处理殆尽之后的动作}
如此便难以在终端里以命令参数的形式将程序交于 awk 解释器。再者，对于复杂的 awk 程序，若欲重复使用，命令参数的形式也多极为不便。为此，awk 解释器支持以脚本的形式载入程序，亦即可将 awk 程序保存为一份文件，而后让 awk 读取该文件以获得程序。此种文件即 awk 脚本。
awk 解释器可通过 -f 选项载入脚本中的程序。例如，制作一份简单的 awk 脚本 hello-world.awk，
$ cat << ‘EOF’ > hello-world.awk
BEGIN {
print “Hello”
}

NR == 5 {
print $0
}

NR == 6 {
print $0
}

END {
print “world!”
}
EOF
然后随意建立一份文本文件 foo.txt，
$ cat << EOF > foo.txt
以指喻指之非指
不若以非指喻指之非指也
以马喻马之非马
不若以非马喻马之非马也
天地一指也
万物一马也
EOF
若执行
$ awk -f hello-world.awk foo.txt
则结果为
Hello
天地一指也
万物一马也
world!
脚本 hello-world.awk 的内容可简化为
BEGIN {
print “Hello”
}

NR == 5 || NR == 6 {
print $0
}

END {
print “world!”
}
还可进一步简化为
BEGIN {
print “Hello”
}

NR == 5 || NR == 6

END {
print “world!”
}
|| 是逻辑运算「或」。awk 中基本的逻辑运算符号皆与 C 语言同。
在 awk 语言中，; 与换行等价，因此上述内容亦可写为
BEGIN {print “Hello”}; NR == 5 || NR == 6; END {print “world!”}
流程控制语句
awk 提供了 if … else if … else 条件分支以及 for、while、do … while 等循环结构的语法，用法几近于 C 语言，无需赘述。
正则表达式
若使用正则表达式作为模式，则记录与模式的匹配所表示的逻辑是前者包含着可与后者匹配的文本。
例如，若只输出上一节的 foo.txt 文件中含有「马」的记录，可以用马作为模式，
$ awk ‘/ 马 /’ foo.txt
以马喻马之非马
不若以非马喻马之非马也
万物一马也
awk 解释器输出的是 foo.txt 文件中含有可与正则表达式马匹配的文本的记录。在 awk 语言中，正则表达式的两侧以 / 为界。
下面给出几个略微复杂一点的正则表达式作为模式的例子。只输出 foo.txt 中以不若作为开头的记录，
$ awk ‘/^ 不若 /’ foo.txt
不若以非指喻指之非指也
不若以非马喻马之非马也
只输出 foo.txt 中以也作为结尾的记录，
$ awk ‘/ 也 $/’ foo.txt
不若以非指喻指之非指也
不若以非马喻马之非马也
天地一指也
万物一马也
只输出 foo.txt 中含有至少两个马字的记录，
$ awk ‘/ 马.* 马 /’ foo.txt
以马喻马之非马
不若以非马喻马之非马也
awk 的正则表达式取自 egrep。egrep 为 grep 的扩展版本，支持的正则表达式较 grep 更为丰富。因此若熟悉 awk 的正则表达式，则自会熟悉 grep/egrep 的用法，反之亦然。
对于正则表达式与记录的匹配，awk 提供了逻辑运算符 ~ 与 !~，前者类似 ==，表示匹配，而后者类似 !=，表示不匹配。因此
$ awk ‘/ 马.* 马 /’ foo.txt
可写为
$ awk ‘$0 ~ / 马.* 马 /’ foo.txt
还可以写为
$ awk ‘{if ($0 ~ / 马.* 马 /) print $0 }’ foo.txt
变量
awk 的变量可无需初始化便可使用。例如，
$ awk ‘NR == 1 {print a; print a + 1}’ foo.txt

1
即输出了空行和内容为 1 的行。之所以会输出空行，是因为变量 a 未经初始化便在语句「print a」中使用，awk 解释器默认其值为空文本，即 “”，从而导致「print a」输出空行。但是在「print a + 1」中，awk 解释器发现 a 出现于算术表达式中，因此便将其值由空字串转化为数字 0，从而导致「print a + 1」输出内容为 1 的行。
事实上，awk 的变量只有两种类型，文本和数字。awk 解释器会根据变量是否出现于算术表达式之中而对其值为文本还是数字进行推断。
在 awk 程序中，所有的变量皆为全局变量，除非它以函数的参数形式出现。
函数
awk 的函数，其一般形式为
function 函数名 (参数 1, 参数 2, …, 参数 n) {
函数体
}
函数的调用与 C 同，但函数名与参数列表的左括号之间不能存在空格。
在函数中，除了作为参数的变量，其他所有变量皆能为函数外部可见。例如，
$ cat << ‘EOF’ > func-test.awk
NR == 1 {
t = mul(2, 3)
print “t = ” t “; z = ” z “; x = ” x
}

总额 337.5
awk 解释器的内置变量 RS 和 FS 分别用于设定记录分割符和域分割符，亦即通过设定此二者，能够让 awk 解释器以记录和域的形式理解输入的数据。显然，应当在 awk 解释器读取文件设置 RS 和 FS，因此，它们的设定应当在 BEGIN 模式所对应的动作里进行，例如，
BEGIN {RS = FS = “”}
此时，RS 和 FS 皆为空文本，但二者含义不同，前者表示一个或多个空行作为记录分割符，而后者则以空文本作为域分割符。
对于 Markdown 格式的中文文档，各个段落以一个或多个空行隔开，而各个汉字之间则以空文本隔开。若将 RS 和 FS 设为空文本，那么便可以很容易写出一个统计文档中汉字频率的 awk 程序。例如，统计一份文档中出现最多的十个汉字，只需
BEGIN {RS = FS = “”}
{
# 移除标点符号、数字、英文字母以及空白字符
gsub(/[.,:;!?(){}'”，。：；！？（）《》“”‘’a-zA-Z0-9]/, “”)
for (i = 1; i <= NF; i++) count[$i]++
}
END {for (i in count) print i, count[i] | “sort -rn -k 2 | head” }
我用这个程序统计的《庄子·逍遥游》中出现最多的十个汉字及出现次数为
之 70
而 55
也 51
不 42
其 35
者 26
为 25
无 24
大 24
有 22
上述的 awk 程序，在实现汉字出现次数的排序以及排序结果的部分输出时，借助了 awk 的 print 函数与 sort 和 head 命令的管道衔接。此举似乎有些胜之不武，但是也没什么不妥，反而显现了 awk 在文本输出方面与 Linux（或其他类 Unix 系统）系统命令行环境的亲和性。
awk 解释器通过 RS 与 FS 理解作为输入的文件。对于 awk 程序的输出，则存在这相应的变量 ORS 与 OFS，awk 解释器通过它们理解如何将程序所得结果输出。
结语
一些繁琐的文本分析方面的问题，通常能够以简短的 awk 程序来解决。有些人由此看到了 awk 之美，有些人看到的则是 awk 之丑。因此，awk 的一行程序，吸引了许多人，也吓走了许多人。
在我看来，awk 不美，不丑，也不老。像大多数依然健在的古老的工具那样，只做一些恰如其分的事，这反而使之难以被取代。
egrep 和 sed 也只做恰如其分之事，前者专事文件检索，后者专事文本编辑。此二者所具有的功能，awk 皆能实现，但 awk 的出现并未取代它们。因为有些任务，用 grep 和 sed 可以更快捷地完成，而用 awk 就有些繁琐。例如，若获取 foo.txt 中至少含有两个马字的行及其序号，可完成这一任务的 awk 命令为
$ awk ‘/ 马.* 马 / {print NR “:” $0}’ foo.txt
若是用 egrep，只需
$ egrep -n ‘ 马.* 马 ’ foo.txt
若删除 foo.txt 文件中以天地和万物开始的行，可完成这一任务的 awk 命令为
$ awk ‘$0 !~ /^ 天地 / || ‘$0 !~ /^ 万物 /’ foo.txt > new-foo.txt
$ mv new-foo.txt foo.txt
若是用 sed，只需
$ sed -i ‘/^ 天地 /d; /^ 万物 /d’ foo.txt
功能更强大的事物的出现，并不意味着功能孱弱的事物失去价值，反而可能更为彰显后者的价值。所以，不要随便地就对别人说，「我已习得 python，还有必要再学 awk 吗？」倘若 awk 不能而且无意于取代 egrep 和 sed，那么 python 当如何取代 awk 呢？
本文所展现的 awk 功能约有十之六七，旨在揭示 awk 的主要功用。掌握这些功能，足以胜任常规的文本处理任务。本文中出现的文字注释形式，便是借助 awk 生成，程序为
BEGIN {
note_pat = “\\\\note{([^}]+)}”
i = 1
}
{
# 注解 -> 上标
current_note = i
while (x = match($0, note_pat, s)) {
notes[i] = s[1]
sub(note_pat, “**<sup> 注 ” i++ “</sup>**”, $0)
}
# 输出处理后的段落及注解列表
print $0
if (i > current_note) {# 段后增加注解
print “”
it = current_note
while (it < i) {
print “> 注 ” it “：” notes[it]
it++
}
}
}
有关 awk 的更为详尽的知识可从 awk 的三位开发者撰写的《The AWK Programming Language》一书中获得。这本书虽然写于 1988 年，但其内容依然适于现在的 awk。此外，这本书在介绍 AWK 的编程示例中，言简意赅地介绍了文本处理、数据库、编译原理、排序以及图的遍历等计算机科学基础知识。
也许每一本讲授编程语言的书，都应该借鉴《The AWK Programming Language》的写法。