原生分片文件上传、合并的具体步骤

2024-06-19 22:20

本文主要是介绍原生分片文件上传、合并的具体步骤,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前端是把文件分片传来的,获得第一片文件的时候要进行下特殊的判断:数据库中是否已经有了该文件(通过文件的MD5值进行查询),如果有的话就重命名,并且实现秒传。
//如果上传的是第一个分片
if (chunkIndex == 0) {
​//封装一个查询,查询数据库中是否已经有FileInfoQuery infoQuery = new FileInfoQuery();infoQuery.setFileMd5(fileMd5);//设置md5infoQuery.setStatus(FileStatus.USING.getStatus()); //必须是usingList<FileInfo> dbFileList = fileInfoMapper.selectList(infoQuery); //查询这个分片是否上传了
​if (!dbFileList.isEmpty()) { //已经有了,就需要重新命名FileInfo fileInfo = dbFileList.get(0);if (fileInfo.getFileSize() < 0) //TODO:到了后面修改,判断现有空间是否可以装下,此分片throw new BusinessException(ResponseCodeEnum.CODE_904);
​/*封装信息*/fileInfo.setFileId(fileId);fileInfo.setFilePid(filePid);fileInfo.setUserId(userInfo.getUserId());fileInfo.setLastUpdateTime(LocalDateTime.now());fileInfo.setDelFlag(FileDelFlagEnums.USING.getFlag());fileInfo.setStatus(FileStatus.USING.getStatus());fileInfo.setFileMd5(fileMd5);
​//进行重新命名操作fileName = autoRename(filePid, userInfo.getUserId(), fileName);fileInfo.setFileName(fileName);
​//更新数据信息fileInfoMapper.insert(fileInfo);
​resultDTO.setStatus(UploadStatus.UPLOAD_SECONDS.getStatus());  //设置秒传
​//更新用户使用空间updateUserSpace(userInfo, fileInfo.getFileSize());return resultDTO;}
}

除了最后一个文件片段,其余的片段都要获取chunkIndex, 放到临时的目录下面去,返回信息到前端,以便前端可以继续上传其余片段。

//判断是不是上传最后一次切片
if (chunkIndex < chunks - 1) {resultDTO.setStatus(UploadStatus.UPLOADING.getStatus());//TODO:更新Redis中的信息return resultDTO;
}

到了最后一个片段,就需要获得文件的一些信息:后缀名、文件类型的枚举、不重复的文件名称等,封装好对应的信息,放到数据库中去。

String suffix = StringTools.getFileSuffix(fileName);
//真实的文件名
String realFileName = currentUserFolderName + suffix;
​
// 文件类型的枚举
FileTypeEnums fileTypeEnums = FileTypeEnums.getFileTypeBySuffix(suffix);
​
//自动重命名
fileName = autoRename(filePid,userInfo.getUserId(),fileName);
​
​
FileInfo fileInfo = new FileInfo();  //Entity
fileInfo.setFileId(fileId);
fileInfo.setUserId(userInfo.getUserId());
fileInfo.setFileName(fileName);
fileInfo.setFileMd5(fileMd5);
fileInfo.setFileName(getYearAndMouth() + "/" + realFileName );
fileInfo.setCreateTime(LocalDateTime.now());  //设置时间
fileInfo.setLastUpdateTime(LocalDateTime.now()); //最后一次更新时间
fileInfo.setFileCategory(fileTypeEnums.getType());  //设置种类
fileInfo.setFileType(fileTypeEnums.getType());   //设置种类
​
fileInfo.setStatus(FileStatus.TRANSFER.getStatus());  //设置转码中
fileInfo.setFolderType(FileFolderTypeEnums.FILE.getType());  //文件
fileInfo.setDelFlag(FileDelFlagEnums.USING.getFlag());  //使用中
​
​
//插入到数据库中去
this.fileInfoMapper.insert(fileInfo);
​
//TODO:更新redis中容量,Mysql中数据的占用
resultDTO.setStatus(UploadStatus.UPLOAD_FINISH.getStatus());  //设置文件上传完毕

上传完成所有的文件片段后,使用异步的方式,完成文件片段的合成。

TransactionSynchronizationManager.registerSynchronization(new TransactionSynchronization() {@Overridepublic void afterCommit() {fileInfoService.transferFile(fileInfo.getFileId(),userInfo);  //异步请求}
});

这里的fileInfoService 也得在fileInfoServiceImpl中注入,而且要加上@Lazy,避免循环引用。

在transferFile中,需要根据传入的信息,进行前面insert数据的查询,如果不存在就直接返回,因为合并的文件不存在。

if(fileInfos == null || fileInfos.size() == 0 ||! FileStatus.TRANSFER.getStatus().equals(fileInfos.get(0).getStatus())){  //文件不是转码中或者文件为空return;
}

拼装临时目录、真实文件路径和真实文件名称。

//临时目录
String tempFolderName = appconfiguration.getProjectFolder() + Constants.FILE_FOLDER_TEMP;
String currentUserFolderName = sessionWebDTO.getUserId() + fileId;
File fileFolder = new File(tempFolderName + currentUserFolderName);
​
String fileSuffix = StringTools.getFileSuffix(fileInfo.getFileName());  //获得文件后缀
String date = getYearAndMouth();  //就是为了获得目标目录
String targetFolderName = appconfiguration.getProjectFolder() + Constants.FILE_FOLDER_FILE; //真实目录

获得上一步存入的临时文件夹。

File targetFolder = new File(targetFolderName + "/" + date);

调用union方法,合并文件。

union(fileFolder.getPath(),targetFilePath,fileInfo.getFileName(),true);

在union中进行文件的合并,根据文件路径,获得对应的临时文件夹,使用writeFile(RandomAccessFile)写入的最最终的文件,使用readFile(RandomAccessFile)读入每个临时文件,放到最终的文件中去。

try{writeFile = new RandomAccessFile(targetFile,"rw");byte[] b = new byte[1024 * 10];for(int i = 0;i < fileList.length; i++){int len = -1;File chunkFile = new File(dirPath + "/" + i);  //分片文件RandomAccessFile readFile = null;try{readFile = new RandomAccessFile(chunkFile,"r");  //读取while((len = readFile.read(b))!= -1){writeFile.write(b,0,len);}}catch (Exception e){System.err.printf("-----------------------文件读取错误:%s :-------------------------",e.getMessage());throw new BusinessException("文件读取失败!");}finally {readFile.close();}}
}catch(Exception e){log.error("合并文件失败 :{}",fileName);throw new BusinessException("上传文件失败 !");
}finally {if(writeFile != null){try{writeFile.close();  //关闭对应的文件流}catch (IOException e){e.printStackTrace();}}if(delSource && dir.exists()){try {FileUtils.deleteDirectory(dir);} catch (IOException e) {e.printStackTrace();}}
}

最后关闭各种流,更新file_info中的文件大小、状态信息。

finally {
​//更新转码状态FileInfoUpdateDto updateInfo = new FileInfoUpdateDto();
​updateInfo.setFileSize(new File(targetFilePath).length());   //获得目标文件的大小updateInfo.setFileCover(cover);updateInfo.setStatus(transferSuccess ? FileStatus.USING.getStatus() : FileStatus.TRANSFER_FAIL.getStatus() );updateInfo.setFileId(fileId);updateInfo.setUserId(sessionWebDTO.getUserId());updateInfo.setNewValue(updateInfo.getStatus());updateInfo.setOldStatus(FileStatus.TRANSFER.getStatus());
​//封装信息fileInfoMapper.updateFileStatusWithOldStatus(updateInfo);
}

这篇关于原生分片文件上传、合并的具体步骤的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1076309

相关文章

Python中合并列表(list)的六种方法小结

《Python中合并列表(list)的六种方法小结》本文主要介绍了Python中合并列表(list)的六种方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋... 目录一、直接用 + 合并列表二、用 extend() js方法三、用 zip() 函数交叉合并四、用

GitLab文件的上传与下载方式

《GitLab文件的上传与下载方式》:本文主要介绍GitLab文件的上传与下载方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录GitLab 项目拉取到本地GitLab 项目上传方法方法 1:本地项目未初始化Git方法 2:本地项目已初始化GitGitLab 上

go rate 原生标准限速库的使用

《gorate原生标准限速库的使用》本文主要介绍了Go标准库golang.org/x/time/rate实现限流,采用令牌桶算法控制请求速率,提供Allow/Reserve/Wait方法,具有一定... 目录介绍安装API介绍rate.NewLimiter:创建限流器limiter.Allow():请求是否

Nginx 413修改上传文件大小限制的方法详解

《Nginx413修改上传文件大小限制的方法详解》在使用Nginx作为Web服务器时,有时会遇到客户端尝试上传大文件时返回​​413RequestEntityTooLarge​​... 目录1. 理解 ​​413 Request Entity Too Large​​ 错误2. 修改 Nginx 配置2.1

利用Python实现Excel文件智能合并工具

《利用Python实现Excel文件智能合并工具》有时候,我们需要将多个Excel文件按照特定顺序合并成一个文件,这样可以更方便地进行后续的数据处理和分析,下面我们看看如何使用Python实现Exce... 目录运行结果为什么需要这个工具技术实现工具的核心功能代码解析使用示例工具优化与扩展有时候,我们需要将

Java应用如何防止恶意文件上传

《Java应用如何防止恶意文件上传》恶意文件上传可能导致服务器被入侵,数据泄露甚至服务瘫痪,因此我们必须采取全面且有效的防范措施来保护Java应用的安全,下面我们就来看看具体的实现方法吧... 目录恶意文件上传的潜在风险常见的恶意文件上传手段防范恶意文件上传的关键策略严格验证文件类型检查文件内容控制文件存储

Python实现获取带合并单元格的表格数据

《Python实现获取带合并单元格的表格数据》由于在日常运维中经常出现一些合并单元格的表格,如果要获取数据比较麻烦,所以本文我们就来聊聊如何使用Python实现获取带合并单元格的表格数据吧... 由于在日常运维中经常出现一些合并单元格的表格,如果要获取数据比较麻烦,现将将封装成类,并通过调用list_exc

Java实现MinIO文件上传的加解密操作

《Java实现MinIO文件上传的加解密操作》在云存储场景中,数据安全是核心需求之一,MinIO作为高性能对象存储服务,支持通过客户端加密(CSE)在数据上传前完成加密,下面我们来看看如何通过Java... 目录一、背景与需求二、技术选型与原理1. 加密方案对比2. 核心算法选择三、完整代码实现1. 加密上

在React聊天应用中实现图片上传功能

《在React聊天应用中实现图片上传功能》在现代聊天应用中,除了文字和表情,图片分享也是一个重要的功能,本文将详细介绍如何在基于React的聊天应用中实现图片上传和预览功能,感兴趣的小伙伴跟着小编一起... 目录技术栈实现步骤1. 消息组件改造2. 图片预览组件3. 聊天输入组件改造功能特点使用说明注意事项

springboot上传zip包并解压至服务器nginx目录方式

《springboot上传zip包并解压至服务器nginx目录方式》:本文主要介绍springboot上传zip包并解压至服务器nginx目录方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录springboot上传zip包并解压至服务器nginx目录1.首先需要引入zip相关jar包2.然