java 定期将指定文件夹下的所有文件打包+删除

2024-05-12 17:32

本文主要是介绍java 定期将指定文件夹下的所有文件打包+删除,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 注意事项

(1). 需求

1.目前处理的项目中,有个任务线程会一直在网络上下载文件,所以需要定期将这些文件打包压缩,并且定期将过时太久的压缩文件删除,以防磁盘满。

2.删除压缩文件时,希望是根据文件容量大小,即设置一个阈值,当文件容量大小大于这个阈值,就删除文件,直至文件容量总量小于这个阈值。

3.删除压缩文件时,总是删除最老最旧的文件,以保持存在的总是最近最新的文件。

以上三个需求除了处理像我遇到的下载文件之外,同样可用于处理日志文件。

(2).首先要解决的是执行这样的定时任务。定期执行一个任务,可以使用轻量级定时调度工具cron4j,它的mvn引用如下:

<!-- https://mvnrepository.com/artifact/it.sauronsoftware.cron4j/cron4j -->
<dependency>
	<groupId>it.sauronsoftware.cron4j</groupId><artifactId>cron4j</artifactId><version>2.2.5</version>
</dependency>
(3).将打包和删除操作设置成守护线程在后台运行,当mainthread结束退出后,守护线程也会随之退出。

(4).生成压缩文件时,文件名可加入时间信息以防止命名冲突。如果文件夹下还有子文件夹,需要对该文件夹的每个文件进行判断,如果是文件,则直接加入打包,如果是目录,则需要递归进行处理。本示例中没有对这种情况进行处理,对文件夹进行递归压缩的示例将在下一章“java 将指定文件夹递归的进行zip打包压缩”。

(5). 在删除文件时,一定要注意文件是否被其他进程占用或者是否有该文件上的流没有关闭,这个非常重要,因为我就是因为流没有关闭,导致文件最后无法正常删除。这种时候要避免使用匿名类,因为很可能就会忽略文件上的一些流没有关闭,导致删除文件这个操作失败。我会在后面的代码示例中重点强调出来。

(6).本示例代码只处理指定文件夹下全是文件,没有子文件夹的情况,如果你测试本代码时报了“(拒绝访问。)”的错误,请检查一下目录下面是否有子文件夹。

(7).删除文件时,由于要删除最旧最老的文件,此时就需要对文件按命名日期进行排序,而且是倒序:因为我实现时使用的List,删除最后一个文件的操作的时间复杂度是O(1)。

(8).隔A时间就执行1次打包操作,隔B时间就执行1次删除压缩包操作,压缩文件容量超过C字节就执行删除,这3个值根据需要自行设置成合适的值。

2. 代码示例:

package tmp.MavenTest;import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.Date;
import java.util.List;
import java.util.logging.Logger;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;//定时将指定文件夹下的所有文件压缩
public class ZipFilesUtil {private static Logger log = Logger.getLogger("zipfiles");//将指定文件夹下的所有文件(除压缩文件除外)压缩,该文件夹下没有子文件夹,否则需递归进行处理//压缩文件名为日期名public static void zipFiles(String sourceFilePath){//判断是否有指定文件夹File sourceFile = new File(sourceFilePath);if(!sourceFile.exists()){//tmpFile.mkdirs();log.info("待压缩的文件目录:"+sourceFile+"不存在");return;}String zipName =  generateId();//生产压缩文件名File zipFile = new File(sourceFile+"\\"+zipName+".zip");File[] sourceFiles = sourceFile.listFiles();if(null == sourceFiles || sourceFiles.length<1){log.info("待压缩的文件目录:" + sourceFilePath + "里面不存在文件,无需压缩.");return;}BufferedInputStream bis = null;  ZipOutputStream zos = null; byte[] bufs = new byte[1024*10];FileInputStream fis = null;try {zos = new ZipOutputStream(new FileOutputStream(zipFile));for(int i=0; i<sourceFiles.length; i++){//创建zip实体,并添加进压缩包String tmpFileName = sourceFiles[i].getName();if(tmpFileName.endsWith(".zip"))continue;ZipEntry zipEntry = new ZipEntry(tmpFileName);zos.putNextEntry(zipEntry);	//读取待压缩的文件并写进压缩包里fis = new FileInputStream(sourceFiles[i]);bis = new BufferedInputStream(fis, 1024*10);int read = 0;while((read=bis.read(bufs, 0, 1024*10))!=-1){zos.write(bufs, 0, read);}fis.close();//很重要,否则删除不掉!sourceFiles[i].delete();//将要进行压缩的源文件删除}//end forlog.info("文件打包成功!");} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally{//关闭流try {if(null!=bis)bis.close();if(null!=zos)//zos.closeEntry();zos.close();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}	}}//删除指定文件夹下的压缩文件public static void deleteZipFiles(String filePath) throws ParseException{File delFile = new File(filePath);if(!delFile.exists()){//tmpFile.mkdirs();log.info("待删除的文件目录:"+delFile+"不存在");return;}File[] delFiles = delFile.listFiles();if(null == delFiles || delFiles.length<1){log.info(filePath+"下没有要删除的文件.");return;}//收集压缩文件,过滤掉非压缩的文件以及文件夹List<File> delFilesTarget = new ArrayList<File>();for(int i=0; i<delFiles.length; i++){String tmpFileName = delFiles[i].getName();if(tmpFileName.endsWith(".zip"))//是压缩文件delFilesTarget.add(delFiles[i]);}orderByNameDate(delFilesTarget);//按文件名的日期排序(倒序)//计算文件大小总量,然后检查总量是否超过阈值(100KB)。//如果超过,则不断删除最老的文件,直至文件总量不再超过阈值long len = 0;for(int i=0; i<delFilesTarget.size(); i++){len += delFilesTarget.get(i).length();//返回字节数}int threshold = 100000;//100KB,阈值int lastIndex = delFilesTarget.size()-1;while(len>threshold){File delF = delFilesTarget.remove(lastIndex);len -= delF.length();lastIndex -= 1;if(!delF.delete()){log.info("文件"+delF.getName()+"删除失败!");}else{log.info("文件"+delF.getName()+"删除成功!");}}}//以日期生成文件名public static String generateId(){SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd_HH-mm-ss");//设置日期格式String dateStr = df.format(new Date());//new Date()为获取当前系统时间return dateStr;}//按文件名的日期排序(倒序)public static void orderByNameDate(List<File> files){final SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd_HH-mm-ss");Collections.sort(files, new Comparator<File>() {public int compare(File f1, File f2) {// TODO Auto-generated method stubtry {Date f1Date = sdf.parse(f1.getName());Date f2Date = sdf.parse(f2.getName());//return f1Date.compareTo(f2Date);//正序return f2Date.compareTo(f1Date);//逆序} catch (ParseException e) {// TODO Auto-generated catch blocke.printStackTrace();}return 0;}});}}

package tmp.MavenTest;import java.text.ParseException;
import it.sauronsoftware.cron4j.Scheduler;public class Test 
{private static Scheduler zipScheduler = null;private static Scheduler delScheduler = null;public static void main( String[] args ){System.out.println( "Main thread start..." );String filePath = "D:\\Eclipse_XJ\\work_space\\WebProbe\\downloadfiles";startZipAndDelFilesJop(filePath);//启动定期打包任务和定期删除任务    	try{Thread.sleep(60*60*1000);//调度持续1小时,即mainthread 会在这里阻塞(睡眠)1小时} catch(InterruptedException e){e.printStackTrace();}//zipScheduler.stop();//如果不设置成守护进程,就需要手动停止//delScheduler.stop();System.out.println( "Main thread end..." );//此时守护进程也会随之退出}//启动定期打包任务和定期删除任务public static void startZipAndDelFilesJop(final String filePath){zipScheduler = new Scheduler();//每2分钟执行1次打包jobzipScheduler.schedule("*/2 * * * *", new Runnable() {//前面五个*号按顺序分别代表:分钟、小时、日、月、星期public void run() {// TODO Auto-generated method stubSystem.out.println( "每2分钟执行1次打包job" );ZipFilesUtil.zipFiles(filePath);}});zipScheduler.setDaemon(true);//设置为守护进程zipScheduler.start();delScheduler = new Scheduler();//每3分钟执行1次删除jobdelScheduler.schedule("*/3 * * * *", new Runnable() {//前面五个*号按顺序分别代表:分钟、小时、日、月、星期public void run() {// TODO Auto-generated method stubSystem.out.println( "每3分钟执行1次删除job" );try {ZipFilesUtil.deleteZipFiles(filePath);} catch (ParseException e) {// TODO Auto-generated catch blocke.printStackTrace();}}});delScheduler.setDaemon(true);//设置为守护进程delScheduler.start();}
}



这篇关于java 定期将指定文件夹下的所有文件打包+删除的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/983276

相关文章

SpringBoot中四种AOP实战应用场景及代码实现

《SpringBoot中四种AOP实战应用场景及代码实现》面向切面编程(AOP)是Spring框架的核心功能之一,它通过预编译和运行期动态代理实现程序功能的统一维护,在SpringBoot应用中,AO... 目录引言场景一:日志记录与性能监控业务需求实现方案使用示例扩展:MDC实现请求跟踪场景二:权限控制与

Java NoClassDefFoundError运行时错误分析解决

《JavaNoClassDefFoundError运行时错误分析解决》在Java开发中,NoClassDefFoundError是一种常见的运行时错误,它通常表明Java虚拟机在尝试加载一个类时未能... 目录前言一、问题分析二、报错原因三、解决思路检查类路径配置检查依赖库检查类文件调试类加载器问题四、常见

Java注解之超越Javadoc的元数据利器详解

《Java注解之超越Javadoc的元数据利器详解》本文将深入探讨Java注解的定义、类型、内置注解、自定义注解、保留策略、实际应用场景及最佳实践,无论是初学者还是资深开发者,都能通过本文了解如何利用... 目录什么是注解?注解的类型内置注编程解自定义注解注解的保留策略实际用例最佳实践总结在 Java 编程

Pandas利用主表更新子表指定列小技巧

《Pandas利用主表更新子表指定列小技巧》本文主要介绍了Pandas利用主表更新子表指定列小技巧,通过创建主表和子表的DataFrame对象,并使用映射字典进行数据关联和更新,实现了从主表到子表的同... 目录一、前言二、基本案例1. 创建主表数据2. 创建映射字典3. 创建子表数据4. 更新子表的 zb

Java 实用工具类Spring 的 AnnotationUtils详解

《Java实用工具类Spring的AnnotationUtils详解》Spring框架提供了一个强大的注解工具类org.springframework.core.annotation.Annot... 目录前言一、AnnotationUtils 的常用方法二、常见应用场景三、与 JDK 原生注解 API 的

Java controller接口出入参时间序列化转换操作方法(两种)

《Javacontroller接口出入参时间序列化转换操作方法(两种)》:本文主要介绍Javacontroller接口出入参时间序列化转换操作方法,本文给大家列举两种简单方法,感兴趣的朋友一起看... 目录方式一、使用注解方式二、统一配置场景:在controller编写的接口,在前后端交互过程中一般都会涉及

Java中的StringBuilder之如何高效构建字符串

《Java中的StringBuilder之如何高效构建字符串》本文将深入浅出地介绍StringBuilder的使用方法、性能优势以及相关字符串处理技术,结合代码示例帮助读者更好地理解和应用,希望对大家... 目录关键点什么是 StringBuilder?为什么需要 StringBuilder?如何使用 St

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

Java并发编程之如何优雅关闭钩子Shutdown Hook

《Java并发编程之如何优雅关闭钩子ShutdownHook》这篇文章主要为大家详细介绍了Java如何实现优雅关闭钩子ShutdownHook,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起... 目录关闭钩子简介关闭钩子应用场景数据库连接实战演示使用关闭钩子的注意事项开源框架中的关闭钩子机制1.

Maven中引入 springboot 相关依赖的方式(最新推荐)

《Maven中引入springboot相关依赖的方式(最新推荐)》:本文主要介绍Maven中引入springboot相关依赖的方式(最新推荐),本文给大家介绍的非常详细,对大家的学习或工作具有... 目录Maven中引入 springboot 相关依赖的方式1. 不使用版本管理(不推荐)2、使用版本管理(推