乐趣区

计算机基础Linux-常用命令

作者:LogM

本文原载于 https://segmentfault.com/u/logm/articles,不允许转载~

1. find 文件查找

# 查找 txt 文件
# -iname:忽略大小写
find . -name "*.txt"
​find . -iname "*.txt"

# 正则表达式查找.txt 和.cpp 文件,注意特殊符号用 `\` 转义
# -iregex:忽略大小写
find . -regex ".*\.\(txt\|cpp\)$"
find . -iregex ".*\.\(txt\|cpp\)$"

# 使用 `!` 进行否定,查找非.txt 或.cpp 的所有文件
find . ! -regex ".*\.\(txt\|cpp\)$"

# 查找指定深度和指定类型:f 为文件,d 为目录,l 为符号连接
find . -maxdepth 3 -type f

# 查找后进行指定操作,`-ok` 逐文件提示是否进行操作,`-exec` 无提示,注意结尾的 `;`
find . -type f -name "*.txt" -ok cat {} \;
find . -type f -name "*.txt" -exec cat {} \;

2. grep 文本搜索

# 在文件中查找 "match_pattern",允许多个文件,支持正则表达式
grep "match_pattern" file_1 file_2 file_3

# 只打印匹配到的文件名
grep -l "match_pattern" file_1 file_2 file_3

# 忽略大小写
grep -i "match_pattern" file_name

# 输出除 "match_pattern" 的其他行
grep -v "match_pattern" file_name

# 输出的结果中,对匹配的区域进行高亮
grep "match_pattern" file_name --color=auto

# 只输出匹配 "match_pattern" 的区域,而非一行
grep -o "match_pattern" file_name

# 每个输出的前面带上这个区域在原文件中的位置(第一个字符为 0,第二个字符为 1,依次类推),一般 `-b``-o` 连用
grep -b -o "match_pattern" file_name

# 每行输出的前面带上这行在原文件中的行号
grep -n "match_pattern" file_name

# 统计文件中包含文本的行数
grep -c "match_pattern" file_name

# 在目录下递归查找,`-r` 和 `-R` 效果相同
grep -r "match_pattern" path
grep -R "match_pattern" path

# `-e` 允许多个 "match_pattern"
grep -e ".*\.html" -e ".*\.php" file_name

# `-E` 使用正则表达式的写法有所改变,等同于 egrep,貌似是 `|` 和 `&` 不再需要 `\` 转义且 `*` 表示任意数量的任意字符
grep -E "*\.php|*\.html" file_name --color=auto
# 等同于
grep ".*\.html\|.*\.php" file_name

3. xargs 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数;这样,可以配合很多命令来组合使用。比如 grep,比如 find。

# 将多行输出转化为单行输出 (`\n` 是多行文本间的定界符)
cat file.txt| xargs

# 将单行转化为多行输出 (`-n` 指定每行显示的字段数)
cat single.txt | xargs -n 3

# xargs 参数说明:
# -d 定义定界符(默认为空格 多行的定界符为 \n)# -n 指定输出为多行
# -I {} 指定替换字符串,这个字符串在 xargs 扩展时会被替换掉, 用于待执行的命令需要多个参数时

# 复制所有图片文件到 /data/images 目录下
ls *.jpg | xargs -n1 -I {} cp {} /data/images

# 打印目录下所有 .cpp 的文件的行数
find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

4. sort 排序

# -n 按数字进行排序 VS -d 按字典序进行排序
# -r 逆序排序
# -k N 指定按第 N 列排序
# -t 指定分割符

sort -nrk 1 data.txt
sort -bd data # 忽略像空格之类的前导空白字符 

5. uniq 消除重复行

# 使用 `uniq` 前,必须先使用 `sort`

sort unsort.txt | uniq  # 行去重后的结果
​
sort unsort.txt | uniq -c  # 行前打印该行重复次数
​
sort unsort.txt | uniq -d  # 只打印出现重复的行 

6. tr 替换或删除字符

echo "HELLO WORLD" | tr 'A-Z' 'a-z'  # 大写字母转小写

cat text| tr '\t' ' '  # 制表符转空格
​
​# -d 删除
cat file | tr -d '0-9' # 删除所有的数字字符
​
# -c 求补集
cat file | tr -c '0-9' '?'  # 把所有非数字的字符替换为 '?'
cat file | tr -d -c '0-9 \n'  # 删除所有非数字的字符,注意换行和空格的保留
​
# -s 压缩文本中出现的重复字符;最常用于压缩多余的空格
cat file | tr -s ' '    # 删除重复的空格
​
# 字符类
# tr 中可用各种字符类:# alnum:字母和数字
# alpha:字母
# digit:数字
# space:空白字符
# lower:小写
# upper:大写
# cntrl:控制(非可打印)字符
# print:可打印字符
# 使用方法:tr [:class:] [:class:]
tr '[:lower:]' '[:upper:]'  # 大小写转换也可以这么写 

7. cut 按列切分文本

# cut 从每一行切割字符串,把指定列输出
# -b:以字节为单位,显示每行第 n 个字节
# -c:以字符为单位,显示每行第 n 个字符
# -f:以分隔符分割字段,显示每行第 n 个字段的内容
# -d:指定字段的分隔符,默认的字段分隔符为“TAB”# --complement 求补,提取指定字段之外的列

# cut 取的范围:# N- 第 N 个字段到结尾
# -M 第 1 个字段为 M
# N-M N 到 M 个字段

cut -d";" -f2,4 filename  # 提取文件的第 2 列和第 4 列,`;` 分隔
​
cut -d";" -f3 --complement filename  # 提取文件除第 3 列外的所有列:​
cut -c1-5 file # 打印第 1 到 5 个字符 

8. paste 按列拼接文本

# 将两个文本按列拼接到一起
​
paste file1 file2   # 默认在列方向上合并
paste -s file1 file2   # 在行方向上合并
paste file1 file2 -d“,”# 指定合并后的字段分隔符 

9. wc 统计行和字符的工具

wc -l file # 统计行数
wc -w file # 统计单词数
wc -c file # 统计字符数 

10. sed 文本替换利器

# s 是 sed 命令,表示替换字符
# g 是 sed 替换标记,表示全部替换
# 首处替换
seg 's/text/replace_text/' file   # 替换每一行的第一处匹配的 text
​
# 全局替换
seg 's/text/replace_text/g' file
​
# -i 直接修改源文件
seg -i 's/text/repalce_text/g' file
​
# 移除空白行:# d 是 sed 命令,表示删除匹配的行
sed '/^$/d' file
​
# 变量转换,已匹配的字符串通过标记 & 来引用
echo this is en example | seg 's/\w+/[&]/g'$ 
# 输出:[this] [is] [en] [example]
​
# 子串匹配标记
# 第一个匹配的括号内容使用标记 \1 来引用
sed 's/hello\([0-9]\)/\1/'
​
# 双引号求值
# sed 通常用单引号来引用;也可使用双引号,使用双引号后,双引号会对表达式求值:sed 's/$var/HLLOE/'

# 当使用双引号时,我们可以在 sed 样式和替换字符串中指定变量;eg:p=patten
r=replaced
echo "line con a patten" | sed "s/$p/$r/g"$>line con a replaced
​
# 其它示例
# 字符串插入字符:将文本中每行内容(PEKSHA)转换为 PEK/SHA
sed 's/^.\{3\}/&\//g' file

11. awk 数据流处理工具

# awk 脚本结构
awk 'BEGIN{statements} statements2 END{statements}'

# 工作方式:# 执行 begin 中语句块;# 从文件或 stdin 中读入一行,然后执行 statements2,重复这个过程,直到文件全部被读取完毕;# 执行 end 语句块;# print 打印当前行
# 使用不带参数的 print 时,会打印当前行;
echo -e "line1\nline2" | awk 'BEGIN{print"start"} {print} END{print"End"}'
​
# print 以逗号分割时,参数以空格定界;
echo | awk '{var1 ="v1"; var2 ="V2"; var3="v3"; print var1, var2 , var3;}'
# 输出:v1 V2 v3
​
# 使用 - 拼接符的方式('-' 作为拼接符);
echo | awk '{var1 ="v1"; var2 ="V2"; var3="v3"; print var1"-"var2"-"var3;}'
# 输出:v1-V2-v3
​
# 特殊变量:NR NF $0 $1 $2
# NR: 表示记录数量,在执行过程中对应当前行号;# NF: 表示字段数量,在执行过程总对应当前行的字段数;# $0: 这个变量包含执行过程中当前行的文本内容;# $1: 第一个字段的文本内容;# $2: 第二个字段的文本内容;echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"1"-"$2}'

# 打印每一行的第二和第三个字段:awk '{print $2, $3}' file
​
# 统计文件的行数:awk 'END {print NR}' file
​
# 累加每一行的第一个字段:echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{sum = 0; print"begin";} {sum += $1;} END {print"=="; print sum}'
​
# 用样式对 awk 处理的行进行过滤
awk 'NR < 5' #行号小于 5
awk 'NR==1,NR==4 {print}' file #行号等于 1 和 4 的打印出来
awk '/linux/' #包含 linux 文本的行(可以用正则表达式来指定,超级强大)awk '!/linux/' #不包含 linux 文本的行

# 设置定界符
# 使用 - F 来设置定界符(默认为空格)awk -F: '{print $NF}' /etc/passwd

# 读取命令输出
# 使用 getline,将外部 shell 命令的输出读入到变量 cmdout 中;echo | awk '{"grep root /etc/passwd"| getline cmdout; print cmdout}'
​
# 在 awk 中使用循环
for(i=0;i<10;i++){print $i;}
for(i in array){print array[i];}

# 以逆序的形式打印行:(tac 命令的实现)seq 9| awk '{lifo[NR] = $0; lno=NR} END{for(;lno>-1;lno--){print lifo[lno];}}'
​
# awk 实现 head、tail 命令
# head:
awk 'NR<=10{print}' filename
​
# tail:
awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){print buffer[i %10]} }' filename
​
# 打印指定列
# awk 方式实现:ls -lrt | awk '{print $6}'
​
# cut 方式实现
ls -lrt | cut -f6
​
# 打印指定文本区域
# 确定行号
seq 100| awk 'NR==4,NR==6{print}'
​
# 确定文本
# 打印处于 start_pattern 和 end_pattern 之间的文本;awk '/start_pattern/, /end_pattern/' filename
​
seq 100 | awk '/13/,/15/'cat /etc/passwd| awk '/mai.*mail/,/news.*news/'
​
# awk 常用内建函数
# index(string,search_string): 返回 search_string 在 string 中出现的位置
# sub(regex,replacement_str,string): 将正则匹配到的第一处内容替换为 replacement_str;
# match(regex,string): 检查正则表达式是否能够匹配字符串;# length(string): 返回字符串长度
echo | awk '{"grep root /etc/passwd"| getline cmdout; print length(cmdout) }'
​
# printf 类似 c 语言中的 printf,对输出进行格式化
seq 10 | awk '{printf"->%4s\n", $1}'

12. 迭代文件中的行、单词和字符

# 1. 迭代文件中的每一行
# while 循环法
while read line;doecho $line;done < file.txt 改成子 shell:cat file.txt | (while read line;do echo $line;done)
​
# awk 法:cat file.txt| awk‘{print}’# 2. 迭代一行中的每一个单词
for word in $line;do echo $word;done
​
# 3. 迭代每一个字符
# ${string:start_pos:num_of_chars}:从字符串中提取一个字符;(bash 文本切片)# ${#word}: 返回变量 word 的长度
for((i=0;i<${#word};i++))doecho ${word:i:1);done

13. 压缩与解压

# 对于 *.zip 文件
zip -r examples.zip dir  # 压缩,-r 表示处理文件夹
unzip filename.zip  # 解压

# 对于 *.tar 文件
# 解压
# 从 1.15 版本开始 tar 就可以自动识别压缩的格式, 故不需人为区分压缩格式就能正确解压
# -x: extract 解压
# -v: verbose 详细信息
# -f: file(file=archieve) 文件
tar -xvf filename.tar.gz
tar -xvf filename.tar.bz2
tar -xvf filename.tar.xz
tar -xvf filename.tar.Z

# 压缩
# -c, create 创建压缩文件
# -z, --gzip 通过 gzip 压缩的形式对文件进行归档
# -j, --bzip2 通过 bzip2 压缩的形式对文件进行归档
tar -zcvf file.tar file1       # 压缩 file1 文件,压缩形式为 gzip
tar -cvf file.tar file1 file2 # 压缩 file1,file2 文件,仅打包不使用压缩
tar -cvf file.tar dir         # 压缩 dir 目录 
退出移动版