没有磁盘整列下的多机分布式存储:使用rysnc+多服务器文件/文件夹内容同步

本文主要是介绍没有磁盘整列下的多机分布式存储:使用rysnc+多服务器文件/文件夹内容同步,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

0.为什么要定时同步

1.程序安装

2.文件夹设置rsync使用

3.使用cron进行定时任务


0.为什么要定时同步

作为科研党,实验室有多个服务器,但是都是分批买的没有上磁盘整列,所以一个服务器上跑的东西并不能同步,有时候挂任务要分着两个服务器来挂,存储也是要两个服务器分开看结果。

数据集的话,如果可以同步,就可以在多个服务器上公用。非常方便。在这里因为同步监控开销大,建议每10分钟同步一次,选择自己合适的频率进行同步。

本文介绍的方法比其他方法更为简单实用,测试已经通过。

1.程序安装

这里需要用到Rsync和Crontab,以linux为例,首先进行安装,如果已经安装请跳过


sudo apt install rsync
sudo apt install cron

需要将rsyncd.conf更改权限。将rsyncd.conf这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功! 一般都设置好了每个用户都可以使用。

2.文件夹设置rsync使用

这里建议常用的常登录的服务器作为主服务器,具有跳板机的权限,比如我的主服务器是50002,其他的服务器是3090,A6000,我已经设置了50002作为跳板机,其他服务器作为目标机。

参考博文:VS Code 跳板机登录服务器(手打密码+秘钥登录)-CSDN博客

local->50002--->3090|->4090|->A6000

在本机上设置需要备份的文件:建议在~/下设置一个数据集文件夹和一个算法文件夹用于储存共享的算法,这样可以提高同步效率。

命令参考:rsync(一):基本命令和用法-CSDN博客

这里使用的命令如下

#从192.168.5.37主机的~/share文件夹同步至本服务器(主服务器)
rsync -avP --link-dest=~/share zhf@192.168.5.37:~/share/ share/#从本服务器同步~/share到192.168.5.37目标服务器下的~/share文件夹
rsync -avP --link-dest=~/share share/ zhf@192.168.5.37:~/share/

当主服务器作为密钥登陆跳板机以后就可以直接同步,无需输入密码。

加了-avP是为了对比同步,当文件有修改时才会同步该文件,其他文件参考之前的备份,这个一定要加,保证同步的效率

3.使用cron进行定时任务

将上面介绍的rsync命令写入主服务器的用户根目录下,成为bash文件,例如命名这个文件叫time-run.bash。使用cron定时运行time-run.bash

编辑用户下的cron任务:

#编辑一个新的维护任务表
crontab -e

如果第一次执行,默认会使用nano编辑器进行编辑,且创建新的crontab,这个按照默认的来就好了,在其中加入内容

#以下是示例,选择一个合适的就好#每10分钟执行一次
*/10 * * * * /bin/bash ~/time-run.sh#每30分钟执行一次
*/30 * * * * /bin/bash ~/time-run.sh#每1小时执行一次
* * /1 * * * /bin/bash ~/time-run.sh

重点:启动cron服务,这个需要用sudo或者有权限的账户进行,一定要使用,并查看。

#启动
sudo service crond restart#服务状态查看
service crond status

第一次同步会较为耗时,后面就能实现多台服务器自动同步了。以上只写了两台服务器间,可以可以扩展到多台。

这篇关于没有磁盘整列下的多机分布式存储:使用rysnc+多服务器文件/文件夹内容同步的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/837448

相关文章

SpringBoot3.X 整合 MinIO 存储原生方案

《SpringBoot3.X整合MinIO存储原生方案》本文详细介绍了SpringBoot3.X整合MinIO的原生方案,从环境搭建到核心功能实现,涵盖了文件上传、下载、删除等常用操作,并补充了... 目录SpringBoot3.X整合MinIO存储原生方案:从环境搭建到实战开发一、前言:为什么选择MinI

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

prometheus如何使用pushgateway监控网路丢包

《prometheus如何使用pushgateway监控网路丢包》:本文主要介绍prometheus如何使用pushgateway监控网路丢包问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录监控网路丢包脚本数据图表总结监控网路丢包脚本[root@gtcq-gt-monitor-prome

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected