一、什么是rsync

rsync：“remote sync”是一个本地近程同步文件的工具。在第一次连通实现时，会把整份文件传输一次，下一次就只传送两个文件之间不同的局部。

二、rsync同步的两种形式

1）间接应用rsync命令，应用SSH协定，默认为22端口
2）rsync daemon模式，应用rsync协定，默认为873端口

三、同步命令

三种办法的同步命令之间的区别就是“:”的个数，本地同步无“:”，命令行同步一个“:”，daemon模式的同步两个”:“。

1）本地文件同步

rsync [OPTION...] SRC... [DEST]

2）本地与近程同步

pull办法：

rsync [OPTION...] [USER@]HOST:SRC... [DEST]

push办法
 
rsync [OPTION...] SRC... [USER@]HOST:DEST

3）应用rsync过程形式
pull办法
 
rsync [OPTION...] [USER@]HOST::SRC... [DEST]rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

push办法： 

rsync [OPTION...] SRC... [USER@]HOST::DESTrsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST)

四、详细描述

remote sync 是一个数据镜像备份工具，采纳rsync算法，能够将一个客户机和近程文件服务器之间的文件进行同步，也能够在本地零碎中将数据从一个分区备份到另一个分区。如果rsync在备份过程中呈现了数据传输中断，复原后能够持续传输不统一的局部。rsync能够执行残缺备份与增量备份。

特点：
1）：能够镜像保留整个目录树和文件系统2）：很容易做到放弃原来文件的权限、工夫、软硬连贯
3）：无需非凡权限即可装置
4）：能够增量同步数据，文件传输效率高
5）：能够应用rcp、ssh等形式来传输文件，当然也能够间接通过socket连贯
6）：反对匿名传输

五、参数详解
1）罕用参数

-t ：将源文件的modify time也同步到指标机器。它会在同步前先比照两边文件的工夫戳和文件大小，如果统一，则认为两边文件一样，对次文件就不进行采取更新动作。如果指标端的文件的工夫戳，大小和源端完全一致，但凑巧内容不一样时，rsync时发现不了的。解决这个的方法是应用I参数
-I：（大写i）挨个文件发动数据同步-v：获取日志信息
-z：先压缩再传输
-r：递归，级联的进行同步
-a：除了递归同步外，还能够同步元信息（权限、批改工夫等）-n：模仿命令执行的后果，并不是真正的执行命令-l（小写L）：同步链接文件时
-p：放弃源文件的权限 perserve permissions
-H：同步硬链接
-g -o：放弃所属组和属主
-delete：删除只存在与目标目录，不存在于源目录的文件
-exclude：排除某个文件
-exclude-from：排除写在某个文件里的所有文件名
-progress：显示出传输进度信息
-partial：断点续传

2、所有参数

PDF版本可下载：
 

链接: https://pan.baidu.com/s/1Gd2HUbC_ZIL8C4N0ntpAZw  明码: 5dsb
五、常用命令
1）将源目录复制到目标端

rsync -av source_path  destination_pathrsync -av zhongjiang.sh apt@10.0.0.128:/home/apt/

-a：示意要进行归档
-v：示意在stdout上打印出细节信息或进度

2）压缩传输

通过网络进行传输时，压缩数据可能明显改善传输效率。用rsync -z指定在网络传输时压缩数据
 
rsync -avz source destination

3）将目录下的内容同步到另一个目录

 
rsync -av /shell/ apt@10.0.0.128:/home/apt/lop

4）将目录自身同步到另一个目录

 

rsync -av /shell/lll apt@10.0.0.128:/home/apt/lop

5）归档的过程中排除局部文件

--exclude PATTERN
 
rsync -avz /shell/lll apt@10.0.0.128:/home/apt/lllop --exclude "*.txt"

6）排除文件名在文件里的文件

应用rsync进行归档的过程中排除局部文件，把不须要的文件名写在file外面--exclude-from FILEPATH

rsync -avz /shell/lll apt@10.0.0.128:/home/apt/lllop --exclude-from /shell/file
 

7）在更新rsync备份时，删除不存在的文件

 
rsync -avz /shell/lll apt@10.0.0.128:/home/apt/lllop --delete

六、daemon模式
1：daemon模式配置文件

rsync以daemon形式运行的时候应用配置文件为rsyncd.conf

2：服务端与客户端

应用daemon模式的时候，肯定要分分明服务端和客户端，与平时了解的服务端与客户端不太一样，被同步的一端为服务端，要把文件同步到另一端的源端为客户端。
     

3：文件格式

1） rsyncd.conf配置文件由模块和参数组成，一个模块以写在方括号里的模块名称开始，直到下一个模块，模块里蕴含由“name = value”格局的参数。
2）文件是基于行的，每一行代表一个模块名或者参数

4：启动形式

daemon模式运行必须启动的时候加参数 --daemon 

rsync --daemon

5：模块配置

1）服务端（指标端，被同步的一端）的配置文件

# /etc/rsyncd: configuration file for rsync daemon mode# See rsyncd.conf man page for more options.# configuration example:# 全局配置uid = rootgid = rootuse chroot = nomax connections = 2pid file = /var/run/rsyncd.pidlog file = /var/log/rsyncd.loglock file = /var/run/rsyncd.lock# 模块配置[test]comment = "同步nginx的配置文件"path = /captain/shellread only = noauth users = rsyncsecrets file = /etc/rsyncd.secretslist = no

全局配置
1）uid、gid：当应用非root账号时，那么肯定要确保服务的的文件夹是否有该非root账号写入的权限
2）use chroot = no ：是否能够切换到root目录，当chroot为yes的时候，客户端连贯模块的时候，先chroot到模块参数指定的目录下，必须应用root权限，端口号必须是1024以内，且不能备份path门路外的链接文件
3）max connections = 2 ：示意同时最大的连接数，也就是同时只能有两个客户端对本人进行连贯

并且此选项必须与lock file = /var/run/rsyncd.lock 独特应用，若不指定，默认为/var/run/rsyncd.lock

模块局部

每一个模块局部都是一个文件夹或者文件的rsync同步

1）[modulname]：模块的名称

2）path = /captain/shell：示意的是当客户端把数据同步过去将保留的门路

3）read only = no ：如果为只读，那么将不能进行写同步，所以必须敞开

4）auth users = rsync ：用来进行同步的用户，不须要零碎用户中有，虚构的就行

5）secrets file = /etc/rsyncd.secrets ：示意的是账号密码文件，此文件可随便指定，文件里必须以username：password的格局
 
rsync:123456此文件权限必须为600，否则会报错

6）list = no ：示意的是当服务端回绝客户端的申请时，是否是间接显示权限回绝，还是事实模块不存在，个别与hosts allow 和hosts deny一起应用,当一个被服务端回绝的申请进来时，如果设置为 list = no，那么间接返回模块不存在

2、服务端账号密码文件

vim /etc/rsyncd.secrets

rsync:123456
3、客户端配置文件

客户端（源端，需将此台机器上的文件同步进来）的配置文件只需做简略的批改，设置日志文件和pid文件门路，而后启动rsync即可

pid file = /var/run/rsyncd.pidlog file = /var/log/rsyncd.log
4、客户端密码文件

vim /etc/rsyncd.passwd

123456
5、启动dameon

别离在服务端和客户端启动rsync

rsync --daemon
6、同步命令 
rsync -avz --password-file=/etc/rsyncd.passwd /data/shell/ rsync@192.168.1.103::test

-avz：示意同步过程中输入信息显示的格局

--password-file=/etc/rsyncd.passwd ：示意客户端将拿此明码去服务端进行认证，所以这个文件里的机密为下面服务的所设置的明码，只需passwd

/data/shell/ ：示意源目录，将要把此目录下的所有文件同步到远端。注：这里有无/的区别：有/的时候示意的是/data/shell/目录下的货色同步过来，而无/的时候示意的是把shell目录同步过来

七、监控目录变动
1、查看内核是否反对inotify机制 

cat /boot/config-$(uname -r)|grep CONFIG_INOTIFY_USER=y

2、装置

 
yum install inotify-tools

3、监控某个目录的变动

 
inotifywait -rme modify,attrib,move,close_write,create,delete,delete_self /software/mminotifywait -mqr --format '%Xe %w%f' -e modify,create,delete,attrib /data/

4、监控除了某个目录

 
inotifywait --exclude '^/software/mm/ll' -rme modify,move,close_write,create,delete,delete_self /software/mm

5：统计文件目录下的变动次数

inotifywatch -v -e access -e modify -t 120  -r /software/mm/

6、监控脚本
#!/bin/bash#指标IPip1=10.0.0.75rsync_passwd_file=/etc/rsync.secrets/usr/local/bin/inotifywait -mrq --format '%Xe %w%f' -e create,move,attrib,open,close,modify /test | while read filesdo   echo $files    EVENT=`echo $files|awk -F" " '{print $1}'`   echo $EVENT   File=`echo $files|awk -F" " '{print $2}'`   echo $File   if [[ $EVENT = "CREATE" ]] || [[ $EVENT = "MODIFY" ]] || [[  $EVENT = "MOVED_TO" ]]  ;then        echo "Create or Modify or Moved_to"        rsync -avzcr --password-file=$rsync_passwd_file $(dirname $File) root@$ip1::mydata   fi   if [[ $EVENT = "DELETE" ]] || [[ $EVENT = "MOVED_FROM" ]] ;then        echo "Delete or Moved_From"        rsync -avzcr --delete --password-file=$rsync_passwd_file $(dirname $File) root@$ip1::mydata   fi   if [[ $EVENT = "ATTRIB" ]] ;then        echo "Attribe"        if [[ ! -d $File ]] ;then            rsync -avzcr --password-file=$rsync_passwd_file $(dirname $File) root@$ip1::mydata        fi   fidone
八、作者简介
李先生（Lemon），高级运维工程师（自称），SRE专家（指标），幻想在35岁买一辆保时捷。喜爱钻研底层技术，认为底层根底才是王道。所有新技术都离不开操作系统（CPU、内存、磁盘）、网络等。保持输入输出，记录本人学习的点滴，在平庸中保持前行，总有一天会遇见不一样的本人。公众号：运维汪（ID：Leeeee_Li）。