计算机基础Linux-常用命令

2次阅读

共计 6079 个字符，预计需要花费 16 分钟才能阅读完成。

作者：LogM

本文原载于 https://segmentfault.com/u/logm/articles，不允许转载~

1. `find` 文件查找

# 查找 txt 文件
# -iname：忽略大小写
find . -name "*.txt"
find . -iname "*.txt"

# 正则表达式查找.txt 和.cpp 文件，注意特殊符号用 `\` 转义
# -iregex：忽略大小写
find . -regex ".*\.\(txt\|cpp\)$"
find . -iregex ".*\.\(txt\|cpp\)$"

# 使用 `!` 进行否定，查找非.txt 或.cpp 的所有文件
find . ! -regex ".*\.\(txt\|cpp\)$"

# 查找指定深度和指定类型：f 为文件，d 为目录，l 为符号连接
find . -maxdepth 3 -type f

# 查找后进行指定操作，`-ok` 逐文件提示是否进行操作，`-exec` 无提示，注意结尾的 `;`
find . -type f -name "*.txt" -ok cat {} \;
find . -type f -name "*.txt" -exec cat {} \;

2. `grep` 文本搜索

# 在文件中查找 "match_pattern"，允许多个文件，支持正则表达式
grep "match_pattern" file_1 file_2 file_3

# 只打印匹配到的文件名
grep -l "match_pattern" file_1 file_2 file_3

# 忽略大小写
grep -i "match_pattern" file_name

# 输出除 "match_pattern" 的其他行
grep -v "match_pattern" file_name

# 输出的结果中，对匹配的区域进行高亮
grep "match_pattern" file_name --color=auto

# 只输出匹配 "match_pattern" 的区域，而非一行
grep -o "match_pattern" file_name

# 每个输出的前面带上这个区域在原文件中的位置（第一个字符为 0，第二个字符为 1，依次类推），一般 `-b``-o` 连用
grep -b -o "match_pattern" file_name

# 每行输出的前面带上这行在原文件中的行号
grep -n "match_pattern" file_name

# 统计文件中包含文本的行数
grep -c "match_pattern" file_name

# 在目录下递归查找，`-r` 和 `-R` 效果相同
grep -r "match_pattern" path
grep -R "match_pattern" path

# `-e` 允许多个 "match_pattern"
grep -e ".*\.html" -e ".*\.php" file_name

# `-E` 使用正则表达式的写法有所改变，等同于 egrep，貌似是 `|` 和 `&` 不再需要 `\` 转义且 `*` 表示任意数量的任意字符
grep -E "*\.php|*\.html" file_name --color=auto
# 等同于
grep ".*\.html\|.*\.php" file_name

3. `xargs` 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如 grep，比如 find。

# 将多行输出转化为单行输出 (`\n` 是多行文本间的定界符)
cat file.txt| xargs

# 将单行转化为多行输出 (`-n` 指定每行显示的字段数)
cat single.txt | xargs -n 3

# xargs 参数说明:
# -d 定义定界符（默认为空格 多行的定界符为 \n）# -n 指定输出为多行
# -I {} 指定替换字符串，这个字符串在 xargs 扩展时会被替换掉, 用于待执行的命令需要多个参数时

# 复制所有图片文件到 /data/images 目录下
ls *.jpg | xargs -n1 -I {} cp {} /data/images

# 打印目录下所有 .cpp 的文件的行数
find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

4. `sort` 排序

# -n 按数字进行排序 VS -d 按字典序进行排序
# -r 逆序排序
# -k N 指定按第 N 列排序
# -t 指定分割符

sort -nrk 1 data.txt
sort -bd data # 忽略像空格之类的前导空白字符

5. `uniq` 消除重复行

# 使用 `uniq` 前，必须先使用 `sort`

sort unsort.txt | uniq  # 行去重后的结果

sort unsort.txt | uniq -c  # 行前打印该行重复次数

sort unsort.txt | uniq -d  # 只打印出现重复的行

6. `tr` 替换或删除字符

echo "HELLO WORLD" | tr 'A-Z' 'a-z'  # 大写字母转小写

cat text| tr '\t' ' '  # 制表符转空格

# -d 删除
cat file | tr -d '0-9' # 删除所有的数字字符

# -c 求补集
cat file | tr -c '0-9' '?'  # 把所有非数字的字符替换为 '?'
cat file | tr -d -c '0-9 \n'  # 删除所有非数字的字符，注意换行和空格的保留

# -s 压缩文本中出现的重复字符；最常用于压缩多余的空格
cat file | tr -s ' '    # 删除重复的空格

# 字符类
# tr 中可用各种字符类：# alnum：字母和数字
# alpha：字母
# digit：数字
# space：空白字符
# lower：小写
# upper：大写
# cntrl：控制（非可打印）字符
# print：可打印字符
# 使用方法：tr [:class:] [:class:]
tr '[:lower:]' '[:upper:]'  # 大小写转换也可以这么写

7. `cut` 按列切分文本

# cut 从每一行切割字符串，把指定列输出
# -b：以字节为单位，显示每行第 n 个字节
# -c：以字符为单位，显示每行第 n 个字符
# -f：以分隔符分割字段，显示每行第 n 个字段的内容
# -d：指定字段的分隔符，默认的字段分隔符为“TAB”# --complement 求补，提取指定字段之外的列

# cut 取的范围：# N- 第 N 个字段到结尾
# -M 第 1 个字段为 M
# N-M N 到 M 个字段

cut -d";" -f2,4 filename  # 提取文件的第 2 列和第 4 列，`;` 分隔

cut -d";" -f3 --complement filename  # 提取文件除第 3 列外的所有列：
cut -c1-5 file # 打印第 1 到 5 个字符

8. `paste` 按列拼接文本

# 将两个文本按列拼接到一起

paste file1 file2   # 默认在列方向上合并
paste -s file1 file2   # 在行方向上合并
paste file1 file2 -d“,”# 指定合并后的字段分隔符

9. `wc` 统计行和字符的工具

wc -l file # 统计行数
wc -w file # 统计单词数
wc -c file # 统计字符数

10. `sed` 文本替换利器

# s 是 sed 命令，表示替换字符
# g 是 sed 替换标记，表示全部替换
# 首处替换
seg 's/text/replace_text/' file   # 替换每一行的第一处匹配的 text

# 全局替换
seg 's/text/replace_text/g' file

# -i 直接修改源文件
seg -i 's/text/repalce_text/g' file

# 移除空白行：# d 是 sed 命令，表示删除匹配的行
sed '/^$/d' file

# 变量转换，已匹配的字符串通过标记 & 来引用
echo this is en example | seg 's/\w+/[&]/g'$ 
# 输出：[this] [is] [en] [example]

# 子串匹配标记
# 第一个匹配的括号内容使用标记 \1 来引用
sed 's/hello\([0-9]\)/\1/'

# 双引号求值
# sed 通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：sed 's/$var/HLLOE/'

# 当使用双引号时，我们可以在 sed 样式和替换字符串中指定变量；eg:p=patten
r=replaced
echo "line con a patten" | sed "s/$p/$r/g"$>line con a replaced

# 其它示例
# 字符串插入字符：将文本中每行内容（PEKSHA）转换为 PEK/SHA
sed 's/^.\{3\}/&\//g' file

11. `awk` 数据流处理工具

# awk 脚本结构
awk 'BEGIN{statements} statements2 END{statements}'

# 工作方式：# 执行 begin 中语句块；# 从文件或 stdin 中读入一行，然后执行 statements2，重复这个过程，直到文件全部被读取完毕；# 执行 end 语句块；# print 打印当前行
# 使用不带参数的 print 时，会打印当前行;
echo -e "line1\nline2" | awk 'BEGIN{print"start"} {print} END{print"End"}'

# print 以逗号分割时，参数以空格定界;
echo | awk '{var1 ="v1"; var2 ="V2"; var3="v3"; print var1, var2 , var3;}'
# 输出：v1 V2 v3

# 使用 - 拼接符的方式（'-' 作为拼接符）;
echo | awk '{var1 ="v1"; var2 ="V2"; var3="v3"; print var1"-"var2"-"var3;}'
# 输出：v1-V2-v3

# 特殊变量：NR NF $0 $1 $2
# NR: 表示记录数量，在执行过程中对应当前行号；# NF: 表示字段数量，在执行过程总对应当前行的字段数；# $0: 这个变量包含执行过程中当前行的文本内容；# $1: 第一个字段的文本内容；# $2: 第二个字段的文本内容；echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"1"-"$2}'

# 打印每一行的第二和第三个字段：awk '{print $2, $3}' file

# 统计文件的行数：awk 'END {print NR}' file

# 累加每一行的第一个字段：echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{sum = 0; print"begin";} {sum += $1;} END {print"=="; print sum}'

# 用样式对 awk 处理的行进行过滤
awk 'NR < 5' #行号小于 5
awk 'NR==1,NR==4 {print}' file #行号等于 1 和 4 的打印出来
awk '/linux/' #包含 linux 文本的行（可以用正则表达式来指定，超级强大）awk '!/linux/' #不包含 linux 文本的行

# 设置定界符
# 使用 - F 来设置定界符（默认为空格）awk -F: '{print $NF}' /etc/passwd

# 读取命令输出
# 使用 getline，将外部 shell 命令的输出读入到变量 cmdout 中；echo | awk '{"grep root /etc/passwd"| getline cmdout; print cmdout}'

# 在 awk 中使用循环
for(i=0;i<10;i++){print $i;}
for(i in array){print array[i];}

# 以逆序的形式打印行：(tac 命令的实现）seq 9| awk '{lifo[NR] = $0; lno=NR} END{for(;lno>-1;lno--){print lifo[lno];}}'

# awk 实现 head、tail 命令
# head:
awk 'NR<=10{print}' filename

# tail:
awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){print buffer[i %10]} }' filename

# 打印指定列
# awk 方式实现：ls -lrt | awk '{print $6}'

# cut 方式实现
ls -lrt | cut -f6

# 打印指定文本区域
# 确定行号
seq 100| awk 'NR==4,NR==6{print}'

# 确定文本
# 打印处于 start_pattern 和 end_pattern 之间的文本；awk '/start_pattern/, /end_pattern/' filename

seq 100 | awk '/13/,/15/'cat /etc/passwd| awk '/mai.*mail/,/news.*news/'

# awk 常用内建函数
# index(string,search_string): 返回 search_string 在 string 中出现的位置
# sub(regex,replacement_str,string): 将正则匹配到的第一处内容替换为 replacement_str;
# match(regex,string): 检查正则表达式是否能够匹配字符串；# length(string): 返回字符串长度
echo | awk '{"grep root /etc/passwd"| getline cmdout; print length(cmdout) }'

# printf 类似 c 语言中的 printf，对输出进行格式化
seq 10 | awk '{printf"->%4s\n", $1}'

# 1. 迭代文件中的每一行
# while 循环法
while read line;doecho $line;done < file.txt 改成子 shell:cat file.txt | (while read line;do echo $line;done)

# awk 法：cat file.txt| awk‘{print}’# 2. 迭代一行中的每一个单词
for word in $line;do echo $word;done

# 3. 迭代每一个字符
# ${string:start_pos:num_of_chars}：从字符串中提取一个字符；(bash 文本切片）# ${#word}: 返回变量 word 的长度
for((i=0;i<${#word};i++))doecho ${word:i:1);done

# 对于 *.zip 文件
zip -r examples.zip dir  # 压缩，-r 表示处理文件夹
unzip filename.zip  # 解压

# 对于 *.tar 文件
# 解压
# 从 1.15 版本开始 tar 就可以自动识别压缩的格式, 故不需人为区分压缩格式就能正确解压
# -x: extract 解压
# -v: verbose 详细信息
# -f: file(file=archieve) 文件
tar -xvf filename.tar.gz
tar -xvf filename.tar.bz2
tar -xvf filename.tar.xz
tar -xvf filename.tar.Z

# 压缩
# -c, create 创建压缩文件
# -z, --gzip 通过 gzip 压缩的形式对文件进行归档
# -j, --bzip2 通过 bzip2 压缩的形式对文件进行归档
tar -zcvf file.tar file1       # 压缩 file1 文件，压缩形式为 gzip
tar -cvf file.tar file1 file2 # 压缩 file1，file2 文件，仅打包不使用压缩
tar -cvf file.tar dir         # 压缩 dir 目录

正文完

shell 计算机基础

发表至： linux

2019-06-20

0

关于linux:说透IO多路复用模型

实战生产环境最新K8s-NameSpaces详解

关于linux:Linux系统下好用的文本编辑器NeoVim

CentOS下使用yum update 更新，不更新

那些年曾谈起的跨域

计算机基础Linux-常用命令

1. `find` 文件查找

2. `grep` 文本搜索

3. `xargs` 命令行参数转换

4. `sort` 排序

5. `uniq` 消除重复行

6. `tr` 替换或删除字符

7. `cut` 按列切分文本

8. `paste` 按列拼接文本

9. `wc` 统计行和字符的工具

10. `sed` 文本替换利器

11. `awk` 数据流处理工具

12. 迭代文件中的行、单词和字符

13. 压缩与解压

站内搜索

计算机基础Linux-常用命令

1. find 文件查找

2. grep 文本搜索

3. xargs 命令行参数转换

4. sort 排序

5. uniq 消除重复行

6. tr 替换或删除字符

7. cut 按列切分文本

8. paste 按列拼接文本

9. wc 统计行和字符的工具

10. sed 文本替换利器

11. awk 数据流处理工具

12. 迭代文件中的行、单词和字符

13. 压缩与解压

站内搜索

1. `find` 文件查找

2. `grep` 文本搜索

3. `xargs` 命令行参数转换

4. `sort` 排序

5. `uniq` 消除重复行

6. `tr` 替换或删除字符

7. `cut` 按列切分文本

8. `paste` 按列拼接文本

9. `wc` 统计行和字符的工具

10. `sed` 文本替换利器

11. `awk` 数据流处理工具