【Linux】rsync远程数据同步工具使用

2024-06-09 14:52

本文主要是介绍【Linux】rsync远程数据同步工具使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、rsync工具介绍

        rsync是一个用于在本地或远程系统之间同步文件和目录的工具。它通过比较源和目标文件的元数据(例如修改时间和大小)来确定需要同步的内容,然后仅传输必要的数据进行更新,从而实现高效的同步操作。

        rsync有如下特性:

  1. 可以镜像保存整个目录树和文件系统
  2. 可以增量同步数据,文件传输效率高,因而同步时间很短。
  3. 可以保持原有文件的权限、时间等属性。
  4. 加密传输数据,保证了数据的安全性。

二、rsync的client/server模式

        client/server模式下,是在server端启动一个服务端口,然后客户端来连接这个端口,默认873端,进行数据的同步和传输。

2.1 服务端设置

[root@hadoop01 ~]# yum install rsync -y
[root@hadoop01 ~]# vi /etc/rsyncd.conf
#指定传输文件时守护进程应该具有的用户ID,默认值是“nobody”
uid = nobody
#指定传输文件时守护进程应该具有的用户组ID,默认值为“nobody”
gid = nobody
#是否限定在该目录下,有软连接需要用no
use chroot = no
#指定模块的最大并发连接数量,以保护服务器,超过限制的连接请求,将被暂时限制。默认值是0,也就是没有限制。
max connections = 10
#pid路径
pid file = /var/run/rsyncd.pid
#锁文件路径
lock file = /var/run/rsync.lock
#日志输出路径
log file = /var/log/rsyncd.log#定义一个模块,weiyun为模块名称
[weiyun]
#指定同步的路径
path = /data
#模块描述
comment = ixdba file
#在同步过程中遇到错误时继续执行而不中断
ignore errors
#是否只读,如果客户端需要推送给服务端,改为yes
read only = true
#当客户请求可以使用的模块列表时,该模块是否被列出。默认值是true,如果需要建立隐藏的模块。可以设置为false。
list = false
#指定传输文件时守护进程应该具有的用户ID
uid = root
#指定传输文件时守护进程应该具有的组ID
gid = root
#定义可以连接该模块的用户名,多个用户用空格或逗号分隔开。需要注意的是这里的用户和Linux系统用户没有任何关系。这里指定的用户是backup
auth users = backup
#指定一个包含“用户名:密码”格式的文件,用户名就是“auth users”选项定义的用户,密码可以随便指定,只要和客户端的secrets file对应起来就行。只有在auth users被定义时,该文件才起作用。系统默认没有这个文件,自己手动创建一个即可。
secrets file = /etc/rsync.password#配置密码文件
[root@hadoop01 ~]# vi /etc/rsync.password
#backup对应配置文件里的auth users
backup:123456
[root@hadoop01 ~]# chmod 700 /etc/rsync.password#启动rsync
[root@hadoop01 ~]# systemctl start rsyncd

2.2 客户端同步

[root@hadoop02 ~]# yum install rsync -y
#设置客服端账号密码,如果不设置,同步时手动输入密码即可
[root@hadoop02 ~]# vi /etc/rsync.password
123456
[root@hadoop02 ~]# chmod 700 /etc/rsync.password#同步服务端的数据
[root@hadoop02 ~]# rsync -vzrtopg --delete --progress backup@192.168.10.200::weiyun  /data --password-file=/etc/rsync.password

“--vzrtopg”选项中v是“-verbose”,即详细模式输出,z表示“--compress” 即对备份的文件在传输时进行压缩处理,r表示“--recursive”,也就是对子目录以递归模式处理。t即“--times”,用来保持文件时间信息,o即“--owner”用来保持文件属主信息。p即“--perms”用来保持文件权限,g即“--group”用来保持文件的属组信息。

 “--delete”选项指定以rsync服务端为基准进行数据镜像同步,也就是要保持rsync服务端目录与客户端目录的完全一致性。

 “--progress”选项用于显示数据镜像同步的过程。

 “backup@192.168.60.253::weiyun” 表示对服务器192.168.10.200的weiyun模块进行备份,也就是指定备份的模块,backup表示使用“backup”这个用户对该模块进行备份。

“/data”用于指定备份文件在客户端机器上的存放路径,也就是将备份的文件存放在备份机的/data目录下。

 “--password-file=/etc/server.pass”用来指定客户机上存放的密码文件位置,这样在客户端执行同步命令时就无需输入交互密码了,注意,这个密码文件的名称和位置可以随意指定,但是在客户机上必须存在此文件,文件的内容仅仅为备份用户的密码,这里指的是backup的密码。

三、rsync的client/client模式

#推送模式,root为192.168.10.200的用户
[root@hadoop02 ~]# rsync -vzrtopg --delete --progress   /data root@192.168.10.200:/data
#拉取模式,root为192.168.10.200的用户
[root@hadoop02 ~]# rsync -vzrtopg --delete --progress  root@192.168.10.200:/data /data#默认情况下rsync走的是ssh协议,22端口,如果ssh是非默认的22端口,那么可以添加“-e“选项:
rsync -vzrtopg --delete --progress -e 'ssh -p 9090' /data root@172.16.213.233:/data (推送模式)
rsync -vzrtopg --delete --progress -e 'ssh -p 9090' root@172.16.213.233:/data /data(拉取模式)
其中,9090是sshd服务的端口。

这篇关于【Linux】rsync远程数据同步工具使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1045492

相关文章

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

springboot中使用okhttp3的小结

《springboot中使用okhttp3的小结》OkHttp3是一个JavaHTTP客户端,可以处理各种请求类型,比如GET、POST、PUT等,并且支持高效的HTTP连接池、请求和响应缓存、以及异... 在 Spring Boot 项目中使用 OkHttp3 进行 HTTP 请求是一个高效且流行的方式。

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Java使用Javassist动态生成HelloWorld类

《Java使用Javassist动态生成HelloWorld类》Javassist是一个非常强大的字节码操作和定义库,它允许开发者在运行时创建新的类或者修改现有的类,本文将简单介绍如何使用Javass... 目录1. Javassist简介2. 环境准备3. 动态生成HelloWorld类3.1 创建CtC

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结