作者：LogM

本文原载于 https://segmentfault.com/u/logm/articles ，不允许转载~

1. find 文件查找

# 查找txt文件# -iname：忽略大小写find . -name "*.txt"find . -iname "*.txt"# 正则表达式查找.txt和.cpp文件，注意特殊符号用`\`转义# -iregex：忽略大小写find . -regex ".*\.\(txt\|cpp\)$"find . -iregex ".*\.\(txt\|cpp\)$"# 使用`!`进行否定，查找非.txt或.cpp的所有文件find . ! -regex ".*\.\(txt\|cpp\)$"# 查找指定深度和指定类型：f为文件，d为目录，l为符号连接find . -maxdepth 3 -type f# 查找后进行指定操作，`-ok`逐文件提示是否进行操作，`-exec`无提示，注意结尾的`;`find . -type f -name "*.txt" -ok cat {} \;find . -type f -name "*.txt" -exec cat {} \;

2. grep 文本搜索

# 在文件中查找"match_pattern"，允许多个文件，支持正则表达式grep "match_pattern" file_1 file_2 file_3# 只打印匹配到的文件名grep -l "match_pattern" file_1 file_2 file_3# 忽略大小写grep -i "match_pattern" file_name# 输出除"match_pattern"的其他行grep -v "match_pattern" file_name# 输出的结果中，对匹配的区域进行高亮grep "match_pattern" file_name --color=auto# 只输出匹配"match_pattern"的区域，而非一行grep -o "match_pattern" file_name# 每个输出的前面带上这个区域在原文件中的位置（第一个字符为0，第二个字符为1，依次类推），一般`-b``-o`连用grep -b -o "match_pattern" file_name# 每行输出的前面带上这行在原文件中的行号grep -n "match_pattern" file_name# 统计文件中包含文本的行数grep -c "match_pattern" file_name# 在目录下递归查找，`-r`和`-R`效果相同grep -r "match_pattern" pathgrep -R "match_pattern" path# `-e`允许多个"match_pattern"grep -e ".*\.html" -e ".*\.php" file_name# `-E`使用正则表达式的写法有所改变，等同于egrep，貌似是`|`和`&`不再需要`\`转义且`*`表示任意数量的任意字符grep -E "*\.php|*\.html" file_name --color=auto# 等同于grep ".*\.html\|.*\.php" file_name

3. xargs 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如grep，比如find。

# 将多行输出转化为单行输出(`\n`是多行文本间的定界符)cat file.txt| xargs# 将单行转化为多行输出(`-n`指定每行显示的字段数)cat single.txt | xargs -n 3# xargs参数说明:# -d 定义定界符 （默认为空格 多行的定界符为 \n）# -n 指定输出为多行# -I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时# 复制所有图片文件到 /data/images 目录下ls *.jpg | xargs -n1 -I {} cp {} /data/images# 打印目录下所有 .cpp 的文件的行数find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

4. sort 排序

# -n 按数字进行排序 VS -d 按字典序进行排序# -r 逆序排序# -k N 指定按第N列排序# -t 指定分割符sort -nrk 1 data.txtsort -bd data # 忽略像空格之类的前导空白字符

5. uniq 消除重复行

# 使用`uniq`前，必须先使用`sort`sort unsort.txt | uniq  # 行去重后的结果sort unsort.txt | uniq -c  # 行前打印该行重复次数sort unsort.txt | uniq -d  # 只打印出现重复的行

6. tr 替换或删除字符

echo "HELLO WORLD" | tr 'A-Z' 'a-z'  # 大写字母转小写cat text| tr '\t' ' '  # 制表符转空格# -d 删除cat file | tr -d '0-9' # 删除所有的数字字符# -c 求补集cat file | tr -c '0-9' '?'  # 把所有非数字的字符替换为'?'cat file | tr -d -c '0-9 \n'  # 删除所有非数字的字符，注意换行和空格的保留# -s 压缩文本中出现的重复字符；最常用于压缩多余的空格cat file | tr -s ' '    # 删除重复的空格# 字符类# tr中可用各种字符类：# alnum：字母和数字# alpha：字母# digit：数字# space：空白字符# lower：小写# upper：大写# cntrl：控制（非可打印）字符# print：可打印字符# 使用方法：tr [:class:] [:class:]tr '[:lower:]' '[:upper:]'  # 大小写转换也可以这么写

7. cut 按列切分文本

# cut从每一行切割字符串，把指定列输出# -b：以字节为单位，显示每行第n个字节# -c：以字符为单位，显示每行第n个字符# -f：以分隔符分割字段，显示每行第n个字段的内容# -d：指定字段的分隔符，默认的字段分隔符为“TAB”# --complement 求补，提取指定字段之外的列# cut 取的范围：# N- 第N个字段到结尾# -M 第1个字段为M# N-M N到M个字段cut -d";" -f2,4 filename  # 提取文件的第2列和第4列，`;`分隔cut -d";" -f3 --complement filename  # 提取文件除第3列外的所有列：cut -c1-5 file # 打印第1到5个字符

8. paste 按列拼接文本

# 将两个文本按列拼接到一起paste file1 file2   # 默认在列方向上合并paste -s file1 file2   # 在行方向上合并paste file1 file2 -d “,”  # 指定合并后的字段分隔符

9. wc 统计行和字符的工具

wc -l file # 统计行数wc -w file # 统计单词数wc -c file # 统计字符数

10. sed 文本替换利器

# s是sed命令，表示替换字符# g是sed替换标记，表示全部替换# 首处替换seg 's/text/replace_text/' file   # 替换每一行的第一处匹配的text# 全局替换seg 's/text/replace_text/g' file# -i 直接修改源文件seg -i 's/text/repalce_text/g' file# 移除空白行：# d是sed命令，表示删除匹配的行sed '/^$/d' file# 变量转换，已匹配的字符串通过标记&来引用echo this is en example | seg 's/\w+/[&]/g'$ # 输出：[this] [is] [en] [example]# 子串匹配标记# 第一个匹配的括号内容使用标记 \1 来引用sed 's/hello\([0-9]\)/\1/'# 双引号求值# sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：sed 's/$var/HLLOE/'# 当使用双引号时，我们可以在sed样式和替换字符串中指定变量；eg:p=pattenr=replacedecho "line con a patten" | sed "s/$p/$r/g"$>line con a replaced# 其它示例# 字符串插入字符：将文本中每行内容（PEKSHA） 转换为 PEK/SHAsed 's/^.\{3\}/&\//g' file

11. awk 数据流处理工具

# awk脚本结构awk 'BEGIN{ statements } statements2 END{ statements } '# 工作方式：# 执行begin中语句块；# 从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；# 执行end语句块；# print 打印当前行# 使用不带参数的print时，会打印当前行;echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print } END{ print "End" }'# print 以逗号分割时，参数以空格定界;echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1, var2 , var3; }'# 输出：v1 V2 v3# 使用-拼接符的方式（'-'作为拼接符）;echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1"-"var2"-"var3; }'# 输出：v1-V2-v3# 特殊变量： NR NF $0 $1 $2# NR:表示记录数量，在执行过程中对应当前行号；# NF:表示字段数量，在执行过程总对应当前行的字段数；# $0:这个变量包含执行过程中当前行的文本内容；# $1:第一个字段的文本内容；# $2:第二个字段的文本内容；echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"1"-"$2}'# 打印每一行的第二和第三个字段：awk '{print $2, $3}' file# 统计文件的行数：awk ' END {print NR}' file# 累加每一行的第一个字段：echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{sum = 0; print "begin";} {sum += $1;} END {print "=="; print sum }'# 用样式对awk处理的行进行过滤awk 'NR < 5' #行号小于5awk 'NR==1,NR==4 {print}' file #行号等于1和4的打印出来awk '/linux/' #包含linux文本的行（可以用正则表达式来指定，超级强大）awk '!/linux/' #不包含linux文本的行# 设置定界符# 使用-F来设置定界符（默认为空格）awk -F: '{print $NF}' /etc/passwd# 读取命令输出# 使用getline，将外部shell命令的输出读入到变量cmdout中；echo | awk '{"grep root /etc/passwd" | getline cmdout; print cmdout }'# 在awk中使用循环for(i=0;i<10;i++){print $i;}for(i in array){print array[i];}# 以逆序的形式打印行：(tac命令的实现）seq 9| awk '{lifo[NR] = $0; lno=NR} END{ for(;lno>-1;lno--){print lifo[lno];}}'# awk实现head、tail命令# head:awk 'NR<=10{print}' filename# tail:awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){ print buffer[i %10]} } ' filename# 打印指定列# awk方式实现：ls -lrt | awk '{print $6}'# cut方式实现ls -lrt | cut -f6# 打印指定文本区域# 确定行号seq 100| awk 'NR==4,NR==6{print}'# 确定文本# 打印处于start_pattern 和end_pattern之间的文本；awk '/start_pattern/, /end_pattern/' filenameseq 100 | awk '/13/,/15/'cat /etc/passwd| awk '/mai.*mail/,/news.*news/'# awk常用内建函数# index(string,search_string): 返回search_string在string中出现的位置# sub(regex,replacement_str,string): 将正则匹配到的第一处内容替换为replacement_str;# match(regex,string): 检查正则表达式是否能够匹配字符串；# length(string): 返回字符串长度echo | awk '{"grep root /etc/passwd" | getline cmdout; print length(cmdout) }'# printf 类似c语言中的printf，对输出进行格式化seq 10 | awk '{printf "->%4s\n", $1}'

12. 迭代文件中的行、单词和字符

# 1. 迭代文件中的每一行# while 循环法while read line;doecho $line;done < file.txt改成子shell:cat file.txt | (while read line;do echo $line;done)# awk法：cat file.txt| awk ‘{print}’# 2.迭代一行中的每一个单词for word in $line;do echo $word;done# 3. 迭代每一个字符# ${string:start_pos:num_of_chars}：从字符串中提取一个字符；(bash文本切片）# ${#word}:返回变量word的长度for((i=0;i<${#word};i++))doecho ${word:i:1);done

13. 压缩与解压

# 对于*.zip文件zip -r examples.zip dir  # 压缩，-r 表示处理文件夹unzip filename.zip  # 解压# 对于*.tar文件# 解压# 从1.15版本开始tar就可以自动识别压缩的格式,故不需人为区分压缩格式就能正确解压# -x: extract 解压# -v: verbose 详细信息# -f: file(file=archieve) 文件tar -xvf filename.tar.gztar -xvf filename.tar.bz2tar -xvf filename.tar.xztar -xvf filename.tar.Z# 压缩# -c, create 创建压缩文件# -z, --gzip 通过gzip压缩的形式对文件进行归档# -j, --bzip2 通过bzip2压缩的形式对文件进行归档tar -zcvf file.tar file1       # 压缩file1文件，压缩形式为gziptar -cvf file.tar file1 file2 # 压缩file1，file2文件，仅打包不使用压缩tar -cvf file.tar dir         # 压缩dir目录