【编程之美】双线程高效下载

2024-04-05 01:32

本文主要是介绍【编程之美】双线程高效下载,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一,题目

        网络上下载数据,然后存储到硬盘上。简单做法是:先下载一块然后写到硬盘,然后再下载,再写到硬盘上。

        缺点:需要先下载完才能写入硬盘,下载和写是串行操作。

        改进:让两个线程并行进行,设置缓冲区,采用信号量的形式。

                    下载线程,只要缓冲区有空余就下载,下载完成之后告诉写线程缓冲区有数据了。

                     写线程,只要缓冲区有数据就写入,写完后告诉下载线程缓冲区有空闲了。

        

二,核心源码


 //downloads a block from Internet sequentially in each call//return true, if the entire file is downloaded, otherwise false.bool GetBlockFromNet(Block* out_block);//writes a block to hard diskbool WriteBlockToDisk(Block* in_block);class Thread{public:Thread(void (*work_func)());~Thread();void Start();void Abort();};class Semaphore{public:Semaphore(int count,int max_count);~Semaphore();void Unsignal();void Signal();};class Mutex{public:WaitMutex();ReleaseMutex();};//----------------------------------------------------//1.确定使用信号量,而非互斥量,保证并行操作//2.当缓冲区并不满并且下载没结束时,下载线程运行//3.当缓冲区并不空并且下载没结束时,存储线程运行#define MAX_COUNT 1000Block g_Buffer[MAX_COUNT]; //缓冲区数组,模拟循环队列Thread g_Download(ProcA);Thread g_Write(ProcB);//一开始缓冲区空间为MAX_COUNT,整个缓冲区可供下载的数据填充Semaphore ForDownload(MAX_COUNT,MAX_COUNT);//一开始缓冲区无数据可供存储Semaphore ForWrite(0,MAX_COUNT);//下载任务是否完成bool isDone;//下载的数据从缓冲区的哪个地方开始填充int in_index;//存储的数据从缓冲区的哪个地方开始提取int out_index;void ProcA()//下载线程 {while(true){//首先取得一个空闲空间,以便下载数据填充ForDownload.Unsignal();//填充isDone=GetBlockFromNet(g_Buffer+in_index);//更新索引in_index=(in_index+1)%MAX_COUNT;//提示存储线程可以工作ForWrite.Signal();//当任务全部下载完成,进程就可以结束了if(isDone)break;}}void ProcB()//写入线程 {while(true){//查询时候有数据可供存储ForWrite.Unsignal();//存储WriteBlockToDisk(g_Buffer+out_index);//更新索引out_index=(out_index+1)%MAX_COUNT;//将空闲空间还给缓冲区ForDownload.Signal();//当任务全部下载完成,并且所有的数据都存储到硬盘中,进程才可以结束if(isDone&&in_index==out_index)break;}}int main(){isDone=false;in_index=0;out_index=0;g_Download.Start();g_Write.Start();}




这篇关于【编程之美】双线程高效下载的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/877329

相关文章

在IntelliJ IDEA中高效运行与调试Spring Boot项目的实战步骤

《在IntelliJIDEA中高效运行与调试SpringBoot项目的实战步骤》本章详解SpringBoot项目导入IntelliJIDEA的流程,教授运行与调试技巧,包括断点设置与变量查看,奠定... 目录引言:为良驹配上好鞍一、为何选择IntelliJ IDEA?二、实战:导入并运行你的第一个项目步骤1

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

Java docx4j高效处理Word文档的实战指南

《Javadocx4j高效处理Word文档的实战指南》对于需要在Java应用程序中生成、修改或处理Word文档的开发者来说,docx4j是一个强大而专业的选择,下面我们就来看看docx4j的具体使用... 目录引言一、环境准备与基础配置1.1 Maven依赖配置1.2 初始化测试类二、增强版文档操作示例2.

SQL server数据库如何下载和安装

《SQLserver数据库如何下载和安装》本文指导如何下载安装SQLServer2022评估版及SSMS工具,涵盖安装配置、连接字符串设置、C#连接数据库方法和安全注意事项,如混合验证、参数化查... 目录第一步:打开官网下载对应文件第二步:程序安装配置第三部:安装工具SQL Server Manageme

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

在Golang中实现定时任务的几种高效方法

《在Golang中实现定时任务的几种高效方法》本文将详细介绍在Golang中实现定时任务的几种高效方法,包括time包中的Ticker和Timer、第三方库cron的使用,以及基于channel和go... 目录背景介绍目的和范围预期读者文档结构概述术语表核心概念与联系故事引入核心概念解释核心概念之间的关系

基于 HTML5 Canvas 实现图片旋转与下载功能(完整代码展示)

《基于HTML5Canvas实现图片旋转与下载功能(完整代码展示)》本文将深入剖析一段基于HTML5Canvas的代码,该代码实现了图片的旋转(90度和180度)以及旋转后图片的下载... 目录一、引言二、html 结构分析三、css 样式分析四、JavaScript 功能实现一、引言在 Web 开发中,

springboot下载接口限速功能实现

《springboot下载接口限速功能实现》通过Redis统计并发数动态调整每个用户带宽,核心逻辑为每秒读取并发送限定数据量,防止单用户占用过多资源,确保整体下载均衡且高效,本文给大家介绍spring... 目录 一、整体目标 二、涉及的主要类/方法✅ 三、核心流程图解(简化) 四、关键代码详解1️⃣ 设置

SpringMVC高效获取JavaBean对象指南

《SpringMVC高效获取JavaBean对象指南》SpringMVC通过数据绑定自动将请求参数映射到JavaBean,支持表单、URL及JSON数据,需用@ModelAttribute、@Requ... 目录Spring MVC 获取 JavaBean 对象指南核心机制:数据绑定实现步骤1. 定义 Ja