Android/java 计算大文件的SHA1值

2024-04-29 00:18
文章标签 java android 计算 sha1

本文主要是介绍Android/java 计算大文件的SHA1值,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近做android的一个小工具,其中一个功能要计算一个apk的sha1值。但是遇到大的文件就会报错。遇到任何问题,首先要发现问题,然后分析问题,最后解决问题。

  1. 发现问题

我调试了一下程序,发现问题出现在下面的代码里如下:

[java] view plaincopy
  1. File file=new File(path);  
  2. long length=file.length();  
  3. DataInputStream in;  
  4. in = new DataInputStream(new FileInputStream(path));  
  5. byte[] buf = new byte[(int) length];     


当我要计算一个大小为50M的apk包时,我的程序直接就报错了,内存溢出。

[java] view plaincopy
  1. byte[] buf = new byte[(int) length];     

这行代码,导致内存溢出,一次直接申请50M的内存,导致程序崩溃。

       2.    分析问题

 当我们发现了问题,通过分析问题,找到了原因。不能一次根据文件大小而申请内存空间,因为判断一下,如果是大文件,我们应该分割成小文件进行对应操作。

      3.    解决问题

通过分析问题,我们找到解决问题的大概思路。将大文件分割成小文件进行处理。这个比较容易。代码如下:

[java] view plaincopy
  1. File file=new File(path);  
  2. FileInputStream in = new FileInputStream(file);  
  3. MessageDigest messagedigest;  
  4. try {  
  5. messagedigest = MessageDigest.getInstance("SHA-1");  
  6.   
  7.    byte[] buffer = new byte[1024 * 1024 * 10];  
  8.    int len = 0;  
  9.      
  10.    while ((len = in.read(buffer)) >0) {  
  11.   //该对象通过使用 update()方法处理数据  
  12.     messagedigest.update(buffer, 0, len);  
  13.    }  

首先,buffer申请10M大小的空间,调用函数in.read(buffer),每次读取10M的内容赋给buffer,然后通过调用MessageDigest.update进行对应操作(MessageDigest后续介绍)。通过这个方法,把内存溢出解决了。

但是,我遇到一个新的问题。在java,android里面,计算SHA1或者MD5值的时候,不用像C那样按照原理进行操作,sdk里面已经有封装好的类,可以直接调用。这个类就是MessageDigest。计算sha1的时候,都是将整个文件的内容,进行MessageDigest.update,我的理解update就是提交数据。然后调用MessageDigest.digest()进行计算就可以了。之前对MessageDigest不了解,以为我每次 messagedigest.update(buffer, 0, len),旧的数据会被新数据覆盖。

通过调研,发现事实不是这样的。

MessageDigest.update()你调用多次,它会将这些数据合并一起,不会覆盖。当你调用digest方法,则说明输入消息结束。进行初始化,update提交的数据丢失。

举了个例子。

[java] view plaincopy
  1. //现在有i1、i2和i3,分别是3个字节数组,构成一个消息,计算其散列函数值:  
  2. MessageDigest sha1 = MessageDigest.getInstance(“sha-1”);  
  3. sha1.Update(i1);  
  4. sha1.Update(i2);  
  5. sha1.Update(i3);  
  6. byte[] hash = sha1.digest();  

咱们这样计算出的是这i1,i2,i3组成的字节数组的sha1值,而不是i3值。在一些散列函数实现中,可以通过复制(clone)来获得中间散列数值。如下所示:

[java] view plaincopy
  1. //要分别计算:i1,i1和i2,i1、i2和i3的散列数值。  
  2. //计算i1 hash  
  3. sha1.update(i1);  
  4. byte[] i1Hash = sha1.clone().digest();  
  5. //计算i1和i2 hash  
  6. sha1.update(i2);  
  7. byte[] i12Hash = sha1.clone().digest();  
  8. //计算i1、i2和i3 hash  
  9. sha1.update(i3);  
  10. byte[] i123Hash = sha1.digest();  

这样,把计算大文件sha1值,内存溢出的问题就解决了。这也让我明白,以后遇到文件方面操作的时候,尽量别一次性读取。

下面贴出计算sha1值的代码,供大家参考。

[java] view plaincopy
  1. /** 
  2.  * 适用于上G大的文件 
  3.  */  
  4.  public static String getFileSha1(String path) throws OutOfMemoryError,IOException {  
  5. File file=new File(path);  
  6. FileInputStream in = new FileInputStream(file);  
  7. MessageDigest messagedigest;  
  8. try {  
  9.     messagedigest = MessageDigest.getInstance("SHA-1");  
  10.   
  11.     byte[] buffer = new byte[1024 * 1024 * 10];  
  12.     int len = 0;  
  13.       
  14.     while ((len = in.read(buffer)) >0) {  
  15.    //该对象通过使用 update()方法处理数据  
  16.      messagedigest.update(buffer, 0, len);  
  17.     }  
  18.      
  19.   //对于给定数量的更新数据,digest 方法只能被调用一次。在调用 digest 之后,MessageDigest 对象被重新设置成其初始状态。  
  20.     return byte2hex(messagedigest.digest());  
  21. }   catch (NoSuchAlgorithmException e) {  
  22.     NQLog.e("getFileSha1->NoSuchAlgorithmException###", e.toString());  
  23.         e.printStackTrace();  
  24.     }  
  25. catch (OutOfMemoryError e) {  
  26.       
  27.     NQLog.e("getFileSha1->OutOfMemoryError###", e.toString());  
  28.         e.printStackTrace();  
  29.         throw e;  
  30.     }  
  31. finally{  
  32.      in.close();  
  33. }  
  34.     return null;  
  35.  }  

原文地址:点击打开链接

这篇关于Android/java 计算大文件的SHA1值的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/944643

相关文章

Spring boot整合dubbo+zookeeper的详细过程

《Springboot整合dubbo+zookeeper的详细过程》本文讲解SpringBoot整合Dubbo与Zookeeper实现API、Provider、Consumer模式,包含依赖配置、... 目录Spring boot整合dubbo+zookeeper1.创建父工程2.父工程引入依赖3.创建ap

SpringBoot结合Docker进行容器化处理指南

《SpringBoot结合Docker进行容器化处理指南》在当今快速发展的软件工程领域,SpringBoot和Docker已经成为现代Java开发者的必备工具,本文将深入讲解如何将一个SpringBo... 目录前言一、为什么选择 Spring Bootjavascript + docker1. 快速部署与

Spring Boot spring-boot-maven-plugin 参数配置详解(最新推荐)

《SpringBootspring-boot-maven-plugin参数配置详解(最新推荐)》文章介绍了SpringBootMaven插件的5个核心目标(repackage、run、start... 目录一 spring-boot-maven-plugin 插件的5个Goals二 应用场景1 重新打包应用

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定,动态列2、动态下拉3、自定义锁定行/列,添加密码4、合并

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu

创建Java keystore文件的完整指南及详细步骤

《创建Javakeystore文件的完整指南及详细步骤》本文详解Java中keystore的创建与配置,涵盖私钥管理、自签名与CA证书生成、SSL/TLS应用,强调安全存储及验证机制,确保通信加密和... 目录1. 秘密键(私钥)的理解与管理私钥的定义与重要性私钥的管理策略私钥的生成与存储2. 证书的创建与

浅析Spring如何控制Bean的加载顺序

《浅析Spring如何控制Bean的加载顺序》在大多数情况下,我们不需要手动控制Bean的加载顺序,因为Spring的IoC容器足够智能,但在某些特殊场景下,这种隐式的依赖关系可能不存在,下面我们就来... 目录核心原则:依赖驱动加载手动控制 Bean 加载顺序的方法方法 1:使用@DependsOn(最直

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期