使用nohup和--remove-source-files在后台运行rsync并记录日志方式

2025-05-21 02:50

本文主要是介绍使用nohup和--remove-source-files在后台运行rsync并记录日志方式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《使用nohup和--remove-source-files在后台运行rsync并记录日志方式》:本文主要介绍使用nohup和--remove-source-files在后台运行rsync并记录日...

一、什么是 --remove-source-files?

  • 作用:在文件成功同步到目标路径后,删除源路径中的文件。
  • 适用场景:需要将文件从一处“移动”到另一处,而不是保留副本,例如清理旧数据、迁移文件到新存储。
  • 注意:此选项只删除文件,不会删除源目录结构。

与常见的 mv 命令相比,rsync --remove-source-files 更适合跨设备或跨网络的移动操作,因为它支持增量传输和错误恢复。

二、示例命令

以下是一个使用 nohup--remove-source-files 的完整命令模板:

nohup rsync -androidav --remove-source-files /source/path/ /destination/path/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &

让我们逐步拆解这条命令。

三、命令详解

1. nohup

  • 作用:确保任务在终端javascript关闭后继续运行,忽略挂起信号(SIGHUP)。
  • 用法:置于命令开头。

2. rsync -av --remove-source-files

  • -a(归档模式):递归同步目录,保留文件属性(如权限、时间戳)。
  • -v(详细输出):显示同步和删除的详细信息。
  • --remove-source-files:同步完成后删除源文件。

源路径和目标路径

  • /source/path/:包含需要移动的文件或目录。
  • /destination/path/:文件的目标位置。

3. 日志重定向

> /var/log/rsync_$(date +%Y%m%d_%H%M%S).log

  • 将标准输出重定向到日志文件。
  • 使用 $(date +%Y%m%d_%H%M%S) 生成时间戳,例如 rsync_20250324_153022.log

2>&1:将标准错误也重定向到日志文件,确保所有信息都被记录。

4. 后台运行 &

  • 作用:将任务放入后台,释放终端。

四、使用场景与示例

场景1:本地文件移动

/data/old/ 中的文件移动到 /data/new/

nohpythonup rsync -av --remove-source-files /data/old/ /data/new/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &
  • 结果/data/old/ 中的文件被同步到 /data/new/ 并删除,目录结构保留。

场景2:远程文件迁移

将本地文件移动到远程服务器

nohup rsync -avz --remove-source-files -e ssh /local/data/ user@remote:/remote/data/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &
  • -z:压缩数据,优化网络传输。
  • -e ssh:通过SSH连接远程服务器。

场景3:特定文件移动

只移动特定类型的文件(例如 .txt 文件):

nohup rsync -av --remove-source-files --include '*.txt' --exclude '*' /source/ /destination/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &
  • --include--exclude 组合过滤需要移动的文件。

五、操作步骤

准备工作

  • 确保源路径和目标路径存在且可访问。
  • 创建日志目录:mkdir -p /var/log/
  • 检查权限:对源路径有读写权限,对目标路径和日志路径有写权限。

执行命令

  • 输入命令并运行,任务将在后台启动。
  • 查看进程ps -ef | grep rsync

验证结果

  • 检查日志:tail -f /var/log/rsync_*.log,确认同步和删除操作。
  • 检查源路径:确认文件已被删除。
  • 检查目标路径:确认文件已正确同步。

六、--remove-source-files 的工作原理

  • 同步优先:只有当文件成功同步到目标路径后,源文件才会被删除。
  • 安全:如果同步失败(例如目标磁盘满或网络中断),源文件会保留。
  • 目录保留:不会删除源路径中的空目录,仅影响文件。

例如:

  • 源目录 /source/ 包含:
/source/
├── file1.txt
├── file2.txt
└── subdir/
    └── file3.txt

运行 rsync -av --remove-source-files /source/ /dest/ 后:

  • /dest/ 包含所有文件。
  • /source/ 变为:
/source/
└── subdir/
  • 文件被删除,但目录结构保留。

七、注意事项

谨慎使用

  • --remove-source-files 会永久删除源文件,操作前建议备份或测试。
  • 可先用 --dry-run 模拟运行,检查结果:rsync -av --remove-source-files --dry-run /source/ /dest/

磁盘空间

  • 确保目标路径有足够空间,否则同步失败,源文件不会删除。

日志重要性

  • 日志记录了删除和同步的细节,若出现问题,可快速定位。

权限问题

  • 源文件删除需要写权限,目标路径写入需要相应权限。

网络中断

  • 远程同步时,若中断,rsync 支持续传,未完成的文件不会删除。

八、高级用法

  • 限制带宽:避免影响网络,添加 --bwlimit=1000(1MB/s)。

定时任务:结合cron,每天凌晨2点移动文件:

0 2 * * * nohup rsync -av --remove-source-files /source/ /dest/ > /var/log/rsync_$(date +\%Y\%m\%d_\%H\js%M\%S).log 2>&1 &

错误通知:添加失败提示:

nohup jsrsync -av --remove-source-files /source/ /dest/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 || echo "Rsync failed" | mail -s "Error" admin@example.com &

总结

通过 nohup--remove-source-files,我们可以安全、高效地将文件从一处移动到另一处,并利用日志记录整个过程。

这一方法在数据迁移、清理旧文件等场景中尤为实用。只要注意权限、空间和备份,就能充分发挥其优势。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持China编程(www.chinasem.cn)。

这篇关于使用nohup和--remove-source-files在后台运行rsync并记录日志方式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1154697

相关文章

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流(parallelStream)的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS

Linux join命令的使用及说明

《Linuxjoin命令的使用及说明》`join`命令用于在Linux中按字段将两个文件进行连接,类似于SQL的JOIN,它需要两个文件按用于匹配的字段排序,并且第一个文件的换行符必须是LF,`jo... 目录一. 基本语法二. 数据准备三. 指定文件的连接key四.-a输出指定文件的所有行五.-o指定输出

Linux jq命令的使用解读

《Linuxjq命令的使用解读》jq是一个强大的命令行工具,用于处理JSON数据,它可以用来查看、过滤、修改、格式化JSON数据,通过使用各种选项和过滤器,可以实现复杂的JSON处理任务... 目录一. 简介二. 选项2.1.2.2-c2.3-r2.4-R三. 字段提取3.1 普通字段3.2 数组字段四.

Linux kill正在执行的后台任务 kill进程组使用详解

《Linuxkill正在执行的后台任务kill进程组使用详解》文章介绍了两个脚本的功能和区别,以及执行这些脚本时遇到的进程管理问题,通过查看进程树、使用`kill`命令和`lsof`命令,分析了子... 目录零. 用到的命令一. 待执行的脚本二. 执行含子进程的脚本,并kill2.1 进程查看2.2 遇到的

Java AOP面向切面编程的概念和实现方式

《JavaAOP面向切面编程的概念和实现方式》AOP是面向切面编程,通过动态代理将横切关注点(如日志、事务)与核心业务逻辑分离,提升代码复用性和可维护性,本文给大家介绍JavaAOP面向切面编程的概... 目录一、AOP 是什么?二、AOP 的核心概念与实现方式核心概念实现方式三、Spring AOP 的关

详解SpringBoot+Ehcache使用示例

《详解SpringBoot+Ehcache使用示例》本文介绍了SpringBoot中配置Ehcache、自定义get/set方式,并实际使用缓存的过程,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录摘要概念内存与磁盘持久化存储:配置灵活性:编码示例引入依赖:配置ehcache.XML文件:配置

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程?1.2 为什么需要虚拟线程?二、虚拟线程与平台线程对比代码对比示例:三

k8s按需创建PV和使用PVC详解

《k8s按需创建PV和使用PVC详解》Kubernetes中,PV和PVC用于管理持久存储,StorageClass实现动态PV分配,PVC声明存储需求并绑定PV,通过kubectl验证状态,注意回收... 目录1.按需创建 PV(使用 StorageClass)创建 StorageClass2.创建 PV

Redis 基本数据类型和使用详解

《Redis基本数据类型和使用详解》String是Redis最基本的数据类型,一个键对应一个值,它的功能十分强大,可以存储字符串、整数、浮点数等多种数据格式,本文给大家介绍Redis基本数据类型和... 目录一、Redis 入门介绍二、Redis 的五大基本数据类型2.1 String 类型2.2 Hash

Redis中Hash从使用过程到原理说明

《Redis中Hash从使用过程到原理说明》RedisHash结构用于存储字段-值对,适合对象数据,支持HSET、HGET等命令,采用ziplist或hashtable编码,通过渐进式rehash优化... 目录一、开篇:Hash就像超市的货架二、Hash的基本使用1. 常用命令示例2. Java操作示例三