Java把一个大的文本文件拆分成几个小的文件

2024-05-10 01:08

本文主要是介绍Java把一个大的文本文件拆分成几个小的文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

   Java把一个大的文本文件拆分成几个小的文件

 一、背景

         本地调用线上服务运行了一个程序,运行完成后,日志文件644MB,由于日志中没有统计数据的代码,所以想用日志文件统计一个运行的结果。但是发现:用Notepad++打不开日志文件,原因是文件太大。所以才想到用程序实现

        拆分的粒度:每个拆分后的小文件在100MB左右。

二、java代码

       1. 由于不知道日志文件有多少行,所以先运行一下代码,得到日志文件的行数        

 

 
  1. import java.io.*;

  2.  
  3. /**

  4. * Created by on 2017/12/8.

  5. */

  6. public class BeforeBreakFile {

  7.  
  8. public static void main(String args[]) {

  9. try {

  10. FileReader read = new FileReader("D:/text.log");

  11. BufferedReader br = new BufferedReader(read);

  12. String row;

  13.  
  14. int rownum = 1;

  15. while ((row = br.readLine()) != null) {

  16. rownum ++;

  17. }

  18. System.out.println("rownum="+rownum);

  19. } catch (FileNotFoundException e) {

  20. e.printStackTrace();

  21. } catch (IOException e) {

  22. e.printStackTrace();

  23. }

  24. }

  25. }

得到日志的行数是:

    

2.得到的总行数是3249276,除以7得到大约464183

   

 
  1. import java.io.*;

  2.  
  3. /**

  4. * Created by on 2017/12/8.

  5. */

  6. public class BreakFile {

  7.  
  8. public static void main(String args[]) {

  9. try {

  10. FileReader read = new FileReader("D:/text.log");

  11. BufferedReader br = new BufferedReader(read);

  12. String row;

  13.  
  14. int rownum = 1;

  15.  
  16. int fileNo = 1;

  17. FileWriter fw = new FileWriter("D:/text"+fileNo +".txt");

  18. while ((row = br.readLine()) != null) {

  19. rownum ++;

  20. fw.append(row + "\r\n");

  21.  
  22. if((rownum / 464183) > (fileNo - 1)){

  23. fw.close();

  24. fileNo ++ ;

  25. fw = new FileWriter("D:/text"+fileNo +".txt");

  26. }

  27. }

  28. fw.close();

  29. System.out.println("rownum="+rownum+";fileNo="+fileNo);

  30. } catch (FileNotFoundException e) {

  31. e.printStackTrace();

  32. } catch (IOException e) {

  33. e.printStackTrace();

  34. }

  35. }

  36. }

 

运行的结果是:

    

这篇关于Java把一个大的文本文件拆分成几个小的文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/975006

相关文章

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja

springboot项目中整合高德地图的实践

《springboot项目中整合高德地图的实践》:本文主要介绍springboot项目中整合高德地图的实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一:高德开放平台的使用二:创建数据库(我是用的是mysql)三:Springboot所需的依赖(根据你的需求再

spring中的ImportSelector接口示例详解

《spring中的ImportSelector接口示例详解》Spring的ImportSelector接口用于动态选择配置类,实现条件化和模块化配置,关键方法selectImports根据注解信息返回... 目录一、核心作用二、关键方法三、扩展功能四、使用示例五、工作原理六、应用场景七、自定义实现Impor

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

Java对异常的认识与异常的处理小结

《Java对异常的认识与异常的处理小结》Java程序在运行时可能出现的错误或非正常情况称为异常,下面给大家介绍Java对异常的认识与异常的处理,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参... 目录一、认识异常与异常类型。二、异常的处理三、总结 一、认识异常与异常类型。(1)简单定义-什么是

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.

SpringBoot排查和解决JSON解析错误(400 Bad Request)的方法

《SpringBoot排查和解决JSON解析错误(400BadRequest)的方法》在开发SpringBootRESTfulAPI时,客户端与服务端的数据交互通常使用JSON格式,然而,JSON... 目录问题背景1. 问题描述2. 错误分析解决方案1. 手动重新输入jsON2. 使用工具清理JSON3.