关于Linux执行文件操作,断电后数据丢失问题

2024-03-10 03:38

本文主要是介绍关于Linux执行文件操作,断电后数据丢失问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

  在Debian下,批量执行cp命令后,机子立马断电(arm板),开机后发现文件大小都变为了0。但如果是过一会儿再断电,文件大小就正常。神奇的地方就在这边,我cp的文件里头有可执行文件,cp执行完是可以启动的,断电后反而打不开了,所以这个问题困扰了我很久。

原因

  linux这边读写文件都是优先在cache里面的,也就是cache/buffer的机制。当回写进程触发,或者脏数据超时(简单来说就是满足条件触发回写),缓存才会开始把数据写到IO。也就是说执行完cp后,如果有空闲的内存,那么就会默认写到内存里头,如果断电时候,回写没有触发,数据就全部丢失了。

解决方法

一、
  执行完cp后,调用sync命令。但是sync也只是告诉系统要开始写IO而已,实际还是异步,所以还是得等。所以可以调用sync后,执行sleep,不过sleep的度不好把控,要根据实际情况自己推算。
  如果是大文件的话,可以大文件拆分来写,但也只能解决燃眉之急,如果是arm这种随时断电的机子,还是没法解决。

二、
  linux后台有守护进程每隔一段时间执行一次sync,那么可以修改或者说缩短sync时间,通过多写来确保数据安全。或者也可以减小cache,让sync的条件更容易触发,来解决这个问题。两个本质上都是提高系统从cache到IO的频率。(第二点瞎掰的,应该要改内核)

三、
  个人比较倾向这种。通过fflush和fsync来实现。

Created with Raphaël 2.3.0 打开文件 write执行写文件 fflush刷新到cache fsync刷新到IO 结束

因为fsync是同步的,会等到写磁盘成功才返回。但是这样的话,时间的损耗就比较大。不过要像马儿跑得快,又不给马儿吃草是不存在的。

结束

上面一、三点在我看来是可行的,目前自己做法采取了第一种(懒得写太多东西)。若文章有错误,或者有更好的方式实现,欢迎评论指出。
在这里插入图片描述

后续

2023年5月23日更新

  无意间看到自己当初写的文章,觉得还有点不足,这里补充下:

  • 这种很随机的断电操作其实是很致命的,你无法保证关机的时候IO已经结束,个人认为硬件方面加个断电保护才是最可靠有效的。
  • 如果没做断电保护,可以每次写的时候先写一次备份,备份写完再COPY到主文件。这样就算断电数据丢失,也能保证主文件和备份至少有一个数据是完整的(只是不能保证数据一定是最新的)。在业务允许的情况下(允许数据不一定要最新),这个方法我觉得反而是最简单有效的。

这篇关于关于Linux执行文件操作,断电后数据丢失问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/792905

相关文章

Linux join命令的使用及说明

《Linuxjoin命令的使用及说明》`join`命令用于在Linux中按字段将两个文件进行连接,类似于SQL的JOIN,它需要两个文件按用于匹配的字段排序,并且第一个文件的换行符必须是LF,`jo... 目录一. 基本语法二. 数据准备三. 指定文件的连接key四.-a输出指定文件的所有行五.-o指定输出

Linux jq命令的使用解读

《Linuxjq命令的使用解读》jq是一个强大的命令行工具,用于处理JSON数据,它可以用来查看、过滤、修改、格式化JSON数据,通过使用各种选项和过滤器,可以实现复杂的JSON处理任务... 目录一. 简介二. 选项2.1.2.2-c2.3-r2.4-R三. 字段提取3.1 普通字段3.2 数组字段四.

Linux kill正在执行的后台任务 kill进程组使用详解

《Linuxkill正在执行的后台任务kill进程组使用详解》文章介绍了两个脚本的功能和区别,以及执行这些脚本时遇到的进程管理问题,通过查看进程树、使用`kill`命令和`lsof`命令,分析了子... 目录零. 用到的命令一. 待执行的脚本二. 执行含子进程的脚本,并kill2.1 进程查看2.2 遇到的

IDEA和GIT关于文件中LF和CRLF问题及解决

《IDEA和GIT关于文件中LF和CRLF问题及解决》文章总结:因IDEA默认使用CRLF换行符导致Shell脚本在Linux运行报错,需在编辑器和Git中统一为LF,通过调整Git的core.aut... 目录问题描述问题思考解决过程总结问题描述项目软件安装shell脚本上git仓库管理,但拉取后,上l

Linux云服务器手动配置DNS的方法步骤

《Linux云服务器手动配置DNS的方法步骤》在Linux云服务器上手动配置DNS(域名系统)是确保服务器能够正常解析域名的重要步骤,以下是详细的配置方法,包括系统文件的修改和常见问题的解决方案,需要... 目录1. 为什么需要手动配置 DNS?2. 手动配置 DNS 的方法方法 1:修改 /etc/res

Linux创建服务使用systemctl管理详解

《Linux创建服务使用systemctl管理详解》文章指导在Linux中创建systemd服务,设置文件权限为所有者读写、其他只读,重新加载配置,启动服务并检查状态,确保服务正常运行,关键步骤包括权... 目录创建服务 /usr/lib/systemd/system/设置服务文件权限:所有者读写js,其他

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

Linux挂载linux/Windows共享目录实现方式

《Linux挂载linux/Windows共享目录实现方式》:本文主要介绍Linux挂载linux/Windows共享目录实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录文件共享协议linux环境作为服务端(NFS)在服务器端安装 NFS创建要共享的目录修改 NFS 配

idea npm install很慢问题及解决(nodejs)

《ideanpminstall很慢问题及解决(nodejs)》npm安装速度慢可通过配置国内镜像源(如淘宝)、清理缓存及切换工具解决,建议设置全局镜像(npmconfigsetregistryht... 目录idea npm install很慢(nodejs)配置国内镜像源清理缓存总结idea npm in

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装