多线程下载网络资源

2024-09-07 14:36

本文主要是介绍多线程下载网络资源,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

示例:模拟通过5个线程下载10个网络图片

import java.io.*;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.*;public class MultiThreadDownloader {private static final int THREAD_POOL_SIZE = 5;//线程池大小private List<String> networkResources = new ArrayList<>();//模拟10个网络资源private static final String downloadPath = "E:/Tmp";//下载目录public void download() throws IOException, ExecutionException, InterruptedException {//记录开始时间LocalDateTime currentTime = LocalDateTime.now();DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");String startTime = currentTime.format(formatter);System.out.println("下载开始时间:" + startTime);List<String> executeResult = new ArrayList<>();//创建线程池,多线程下载ExecutorService executorService = Executors.newFixedThreadPool(THREAD_POOL_SIZE);for(String resource:networkResources) {Future<String> future = executorService.submit(new Callable<String>() {@Overridepublic String call() throws Exception {String fileNameSuffix = resource.substring(resource.lastIndexOf("/") + 1);String fileName = downloadPath + File.separator + fileNameSuffix;//文件名和下载地址保持一致File file = new File(fileName);OutputStream outputStream = null;URL url = null;URLConnection urlConnection = null;InputStream inputStream = null;try {outputStream = new FileOutputStream(file);url = new URL(resource);urlConnection = url.openConnection();inputStream = urlConnection.getInputStream();byte[] bytes = new byte[1024];int len = 0;while ((len = inputStream.read()) != -1) {outputStream.write(bytes,0,len);}} catch (FileNotFoundException | MalformedURLException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}finally {if(outputStream != null) {try {outputStream.close();} catch (IOException e) {e.printStackTrace();}}}executeResult.add("success");return "success";}});//future.get();//等待线程执行结果}executorService.shutdown();System.out.println(executeResult);//记录结束时间currentTime = LocalDateTime.now();String endTime = currentTime.format(formatter);System.out.println("下载结束时间:" + endTime);}public void initDownLoadTask() {networkResources.add("https://pics5.baidu.com/feed/7aec54e736d12f2e20ef4daf3258436c87356844.jpeg");networkResources.add("https://pics7.baidu.com/feed/0ff41bd5ad6eddc42349d0dd474120f353663396.jpeg");networkResources.add("https://pics5.baidu.com/feed/d53f8794a4c27d1e50c0a932080c3b60dfc4384d.jpeg");networkResources.add("https://pics5.baidu.com/feed/95eef01f3a292df5559aa4dab3c0ca6e36a873a7.jpeg");networkResources.add("https://pic.rmb.bdstatic.com/bjh/news/21bf5f01d0fc4d31e1c49167f92ee023.jpeg");networkResources.add("https://pic.rmb.bdstatic.com/bjh/news/4a11f9b43570c2ef89ea4f0c61c8fb19.jpeg");networkResources.add("https://pics5.baidu.com/feed/e4dde71190ef76c675521117d99b6bf4ae5167a2.png");networkResources.add("https://pics5.baidu.com/feed/342ac65c10385343dae1dbe2d19e2670cb808866.jpeg");networkResources.add("https://pics1.baidu.com/feed/64380cd7912397dd1b012247d50d24b9d1a28793.jpeg");networkResources.add("https://pics7.baidu.com/feed/95eef01f3a292df531693cbf37beca6e35a87314.jpeg");}public static void main(String[] args) throws IOException, ExecutionException, InterruptedException {MultiThreadDownloader downloader = new MultiThreadDownloader();downloader.initDownLoadTask();downloader.download();}
}

这篇关于多线程下载网络资源的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1145333

相关文章

基于 HTML5 Canvas 实现图片旋转与下载功能(完整代码展示)

《基于HTML5Canvas实现图片旋转与下载功能(完整代码展示)》本文将深入剖析一段基于HTML5Canvas的代码,该代码实现了图片的旋转(90度和180度)以及旋转后图片的下载... 目录一、引言二、html 结构分析三、css 样式分析四、JavaScript 功能实现一、引言在 Web 开发中,

springboot下载接口限速功能实现

《springboot下载接口限速功能实现》通过Redis统计并发数动态调整每个用户带宽,核心逻辑为每秒读取并发送限定数据量,防止单用户占用过多资源,确保整体下载均衡且高效,本文给大家介绍spring... 目录 一、整体目标 二、涉及的主要类/方法✅ 三、核心流程图解(简化) 四、关键代码详解1️⃣ 设置

Python pip下载包及所有依赖到指定文件夹的步骤说明

《Pythonpip下载包及所有依赖到指定文件夹的步骤说明》为了方便开发和部署,我们常常需要将Python项目所依赖的第三方包导出到本地文件夹中,:本文主要介绍Pythonpip下载包及所有依... 目录步骤说明命令格式示例参数说明离线安装方法注意事项总结要使用pip下载包及其所有依赖到指定文件夹,请按照以

python多线程并发测试过程

《python多线程并发测试过程》:本文主要介绍python多线程并发测试过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、并发与并行?二、同步与异步的概念?三、线程与进程的区别?需求1:多线程执行不同任务需求2:多线程执行相同任务总结一、并发与并行?1、

Python多进程、多线程、协程典型示例解析(最新推荐)

《Python多进程、多线程、协程典型示例解析(最新推荐)》:本文主要介绍Python多进程、多线程、协程典型示例解析(最新推荐),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定... 目录一、multiprocessing(多进程)1. 模块简介2. 案例详解:并行计算平方和3. 实现逻

python如何下载网络文件到本地指定文件夹

《python如何下载网络文件到本地指定文件夹》这篇文章主要为大家详细介绍了python如何实现下载网络文件到本地指定文件夹,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下...  在python中下载文件到本地指定文件夹可以通过以下步骤实现,使用requests库处理HTTP请求,并结合o

前端下载文件时如何后端返回的文件流一些常见方法

《前端下载文件时如何后端返回的文件流一些常见方法》:本文主要介绍前端下载文件时如何后端返回的文件流一些常见方法,包括使用Blob和URL.createObjectURL创建下载链接,以及处理带有C... 目录1. 使用 Blob 和 URL.createObjectURL 创建下载链接例子:使用 Blob

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

Python下载Pandas包的步骤

《Python下载Pandas包的步骤》:本文主要介绍Python下载Pandas包的步骤,在python中安装pandas库,我采取的方法是用PIP的方法在Python目标位置进行安装,本文给大... 目录安装步骤1、首先找到我们安装python的目录2、使用命令行到Python安装目录下3、我们回到Py

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir