共计 1846 个字符，预计需要花费 5 分钟才能阅读完成。
作为每一个 Linux 发行版本都会内置的文本处理程序，awk 是快速分析日志的不二之选。
服务日志分析是对了解服务状况、发现问题的最有效的手段。最近发现很多同学在分析服务日志的时候走了弯路：选择使用编程（js、php、python 甚至是 c）、甚至使用 ELK 来完成一次性日志统计分析。其实系统自带了功能非常强大的工具：awk，每一个程序员、甚至是每一个 IT 从业者都需要学会使用 awk 完成文本的处理和日志分析。
什么是 awk
Linux command – awk
One of the great things we can do in the shell.
几乎每一个 Linux 发行版本都会内置 awk，在大小仅有 4.2M 的 Alpine:3.7 Docker Image 里面也内置了 awk。由此可见其重要性。
废话少说，直接进入日志分析。
实战
选用最常见的 Nginx 日志。
Nginx 日志的配置为
log_format main ‘$remote_addr – $remote_user [$time_local] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for” ‘
‘$request_time $upstream_response_time’;
相比默认日志，添加了请求的响应时间和 upstream 的响应时间。
100.120.34.170 – – [24/Jan/2019:00:06:02 +0800] “GET /page1 HTTP/1.1” 200 29087 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)” “36.110.179.109” 0.138 0.138
统计 IP 和出现过的次数
cat file | awk -F ” ” ‘{print $1}’ | awk ‘{cnt[$0]++}END{for(i in cnt){print i,cnt[i]}}’
一些个人的喜好：先 cat 再用管道传给 awk；每个 awk 只做简单的事情，管道传递给下一阶段继续，更清晰易懂分开调试
-F ” “: 以空格做分隔符，默认分隔符就是空格，因此可以被省略
cnt 是一个数组，以 $0 作为 key，value 每次累加；$0 指整行
END 指处理完所有行，再执行后面的逻辑
for(i in cnt) 遍历 cnt 并打印 key 和 value
只对 IP 进行去重
一般用法：
cat file | awk -F ” ” ‘{print $1}’ | sort | uniq
一定要先 sort 再 uniq，否则只对相邻的相邻值去重
由于会排序，速度较慢，== 不推荐 ==
awk 用法：
cat file | awk ‘{cnt[$1]++}END{for(i in cnt){print i}}’
awk 高级用法：
cat file | awk ‘{print $1}’ | awk ‘!a[$0]++’
‘!a[$1]++’ 是一个判断条件，条件为 true 的时候输出整行
或者
cat file | awk ‘!a[$1]++{print $1}’
统计平均响应时间
cat file | awk ‘{a+=$(NF-1);b++}END{print a/b}’
$NF 是最后一个字段，$(NF-1) 是倒数第二个字段
a+=$(NF-1) 对所有值累加, b++ 计数
统计时间分布和比例
cat file | awk ‘{print $(NF-1)}’|awk ‘{print int($0)}’|awk ‘
{
cnt[$0]++;
total++
}
END {
for(i in cnt) {
print i”~”i+1,cnt[i],cnt[i]/total*100″%”
}
}’ | sort -n
print 简单一点，方便理解
print i,cnt[i],cnt[i]/total
printf(“%d~%d %d %f%\n”,i,i+1,cnt[i],cnt[i]/total)
int($(NF-1)) 对数组进行取整
四舍五入可以用 int($(NF-1) + 0.5)
sort - n 结果按数字排序
print 和 printf 可任意选取使用
统计每小时处理时间的平均值
cat file | awk ‘{print $NF, $4}’| awk -F”[:]” ‘{print $1,$3}’ | awk ‘
{
sum[$2]+=$1;
cnt[$2]++
}
END {
for(i in sum) {
print i, sum[i]/cnt[i]
}
}’ | sort -n
-F “[:]” 指用空格或者冒号作为分隔符
由于一次切割不容易获取到想要的字符串，故多做几次切割
用两个数组用于分小时统计
