Linux快速复制或删除大量小文件

2次阅读

共计 2812 个字符，预计需要花费 8 分钟才能阅读完成。

前言
公司需要输送给网安部一批数据集, 共计 1550w 张图片，大约 3,5T。处理过程中同时参考网上的一些方法的实践总结。
1: 快速大量小文件复制
a. 本机不同磁盘之间复制:

复制目录
$ tar cvf – /home/src_dir | tar xvf – -C /opt

复制文件
$ tar cf – access.log |tar xf – -C /opt

Tips: 快速 tar 打包的一些小技巧以及常用的 tar 使用

tar 快速打包 (仅打包不压缩传输比较快)

step1: 从文件中生成文件列表
$ find . -name ‘*.jpg’ -print > jpg.txt
**** 匹配多个后缀格式
$ find . -regex ‘.*\.png\|.*\.jpeg\|.*\.jpg’ -print >jpg.txt

若生成的文件列表比较大，可以借助 split 拆分成小文件进行并行打包. 若文件数较小，可忽略此步骤。
#将文件 jpg.txt 分成若干个小文件，每个文件 500000 行 (-l 500000)，文件前缀为 xiu_，系数不是字母而是数字（-d），后缀系数为四位数（-a 4）
$ split -l 500000 ../ jpg.txt -d -a 4 xiu_

step2: tar 怎么从文件中读取文件列表呢？查了很久，用 -T
-T, –files-from F
get names to extract or create from file F
tips: 注意这里不要加 - v 参数啦，对于大量文件，控制台输出是很浪费时间的 …
$ tar -czf jpg.tar.gz -T yourfile
**** 不压缩的话，可以直接打包, 比较快。
$ tar -cf jpg.tar.gz -T yourfile

tar 常用的一些命令

解包
$ tar xvf FileName.tar
## 或者不输出文件，比较快
$ tar xf FileName.tar

不解包查看打包内容
$ tar tvf FileName.tar

不解包统计打包内容文件数以及文件夹
### 统计文件数
$ tar tvf FileName.tar |grep “^-“|wc -l
### 统计文件加
$ tar tvf FileName.tar |grep “^d”|wc -l

b. 跨网络不同主机之间复制 tar+nc:
思路：在网络环境中传输时，打包再结合 nc 命令，通过管道和 tcp 端口进行传输。比如 A 往 B 主机传输数据
i. 在机器 B 上，用 nc 来监听一个端口，任意都行，只要不被占用；并且将收到的数据用 tar 展开。- l 代表监听模式。
$ nc -l 34183 |tar -C /data1datasets/norm/ -zxf –
ii. 接着，在 A 上通过 nc 和 tar 发送 data_01 目录。使用一致的 34183 的端口。
$ tar -zcvf – data_01 |nc 192.168.0.1 34183
2: 快速删除大量小文件或者大文件
2.1: 快速删除大量小文件
rsync 提供了一些跟删除相关的参数
rsync –help | grep delete
–del an alias for –delete-during
–delete delete files that don’t exist on the sending side
–delete-before receiver deletes before transfer (default)
–delete-during receiver deletes during transfer, not before
–delete-after receiver deletes after transfer, not before
–delete-excluded also delete excluded files on the receiving side
–ignore-errors delete even if there are I/O errors
–max-delete=NUM don’t delete more than NUM files
其中 –delete-before 接收者在传输之前进行删除操作
可以用来清空目录或文件，如下：
1. 建立一个空目录
mkdir -p /del_blank
2. 确立需要清空的目标目录
/del_data
3. 使用 rsync 同步删除（注意目录后面的“/”），整体效率会快一个数量级的样子。
rsync –delete-before -a -H -v –progress –stats /del_blank /del_data
选项说明：
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
-stats 给出某些文件的传输状态

一般我们不需要显示进度，使用以下命令即可
rsync –delete-before -a -H /del_blank /del_data
这样我们要删除的 del_data 目录就会被清空了
2.2: 快速删除大文件
如何删除特别大的文件（数量级），比如 nohup.out 这样的实时更新的文件，动辄都是几十个 G 上百 G 的，也可以用 rsync 来清空大文件，而且效率比较高。
1、创建空文件
touch /data/blank.txt
2、用 rsync 清空文件
rsync -a –delete-before –progress –stats /data/blank.txt ./nohup.out
building file list …
1 file to consider
blank.txt
0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
Number of files: 1
Number of files transferred: 1
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 27
File list generation time: 0.006 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 73
Total bytes received: 31
sent 73 bytes received 31 bytes 208.00 bytes/sec
total size is 0 speedup is 0.00
** tips：
当 SRC 和 DEST 文件性质不一致时将会报错
当 SRC 和 DEST 性质都为文件【f】时，意思是清空文件内容而不是删除文件
当 SRC 和 DEST 性质都为目录【d】时，意思是删除该目录下的所有文件，使其变为空目录
最重要的是，它的处理速度相当快，处理几个 G 的文件也就是秒级的事
最核心的内容是：rsync 实际上用的就是替换原理
参考链接：