Python爬虫简单实现Q乐园图片下载

2023-11-11 23:20

本文主要是介绍Python爬虫简单实现Q乐园图片下载,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

据需求写代码实现。然而跟我并没有什么关系,我只是打开电脑望着屏幕想着去干点什么,于是有了这个所谓的“需求”。

终于,我发现了Q乐园——到底是我老了还是我小了,这是什么神奇的网站,没听过啊,就是下面酱紫儿——

(虽然小广告有点多,一度以为这并不是什么“正经”的网站...)

我并不是二次元,只是觉得动漫图片还算是“老少皆宜”(“少儿不宜”多尴尬),就决定爬一下动漫图片好了。就是下面那个样子:

 

鼠标右键——查看源代码,别问我用得什么浏览器。网页大概就是下面这个样:

我好像看到了图集名称,“窗外繁华盛开”(窗内我一口老血),“你已经有别的小朋友了 我自己回家就好啦”(说好的老少皆宜,已经隐隐感受了到了早*的味道)

 

点开一个图集,看下“窗外繁华盛开”吧,还算美~

然后我们还是右键查看源代码(说了不告诉你我用的什么浏览器)——

 

里面的“http://略略略略略略.jpg”就是图集中图片对应的地址了,比如http://v1.qzone.cc/pic/201709/27/14/13/59cb41a204354684.jpeg!600x600.jpg,直接复制到浏览器中打开就是图片了——不信试试!

 

所以,我们要下载图片,其实也就是要拿到这些网址。怎么拿?正则表达式,华丽登场!

 

就比如,我们如果打开了图集“窗外繁华盛开”,那就可以直接爬取图集中图片的地址了,这一个图集就搞定了。如果我们贪得无厌,想要下载更多图集的图片怎么办?(请依次打开图集,然后把鼠标放在图片上,右键图片另存为——啊,当然是开玩笑的了,毕竟我这么懒!)

 

所以呢,我们还要获取所有图集的网址。基本思路就是:打开一个图集网址——获取图片链接——图片下载——打开下一个图集网址——(这不是废话吗?)

 

 

那么,如何获取所有图集网址呢?

其实,我们第一次查看源代码的时候提到,好像已经看到了图集的名称,是的,图集的名称,再回头去看看,里面的确已经包含了图集的网址和名称了。举个栗子:

/haokan/dongman/1349139.html" target="_blank">窗外繁花盛开</h5>

这一行里,/haokan/dongman/1349139.html这部分对应的就是网址,名称自己看。

 

好了,和获取图片网址一样,爬呗,反正我们有个不怕累的虫子(啊?虫子又是什么?我是谁?我在哪里?我在干什么?)

 

现在我们看到的是第一页,如果我们还想下载第二页、第三页、...所有页面的图集怎么办?(下载了有啥用?大概有病)

看来我们只好手动一个一个页面的打开,然后“放虫咬图”!(pi~)

 

好吧,还是偷懒一下好了。反正我们就是下载Q乐园(高端大气上档次!)中的动漫图片,我们发现它的网页都是有规律的:比如第一页的网址:http://www.qzone.cc/haokan/dongman/,第二页的网址:http://www.qzone.cc/haokan/dongman/list_2.html。我猜第三页的网址是:http://www.qzone.cc/haokan/dongman/list_3.html(麻德,我好聪明怎么办?!)

 

于是网址我们可以通过列表的方式构造了。(列表!终于听到了一个正常的词儿,但其实我,根本没用到好吗啊啊啊啊)

 

所以,思路很简单了,我们先构造所有页面的网址集合,对每个页面网址爬取该页面上图集的网址,然后从图集的网址上爬取该图集包含的图片的网址,然后下载图片。(感觉好轻松!其实就是好轻松)

 

有几个小tips:

1.我不想把所有图片都扔到一个文件夹中,我想按照图集的名称分别创建文件夹,然后分别保存。怎么办?爬取图集名称创建文件夹呗~

2.图集名称中包含特殊字符,创建文件夹时很可能会因命名问题出错,那么怎么办?随便吧。。。我就随便一搞,差不多就行。

3.我发现页面源代码中没有包含一共多少页面,那么我们怎么判断一共要抓去多少页面呢?我猜大概不会出现http://www.qzone.cc/haokan/dongman/list_10000.html,一万页,这渣网,下到啥时候啊。嗯,还是随便吧,我就是随便一搞,真的差不多就行

4.如果有一张图片,或者有一个网页卡了,就是下载不下来或者打不开了怎么办?随便搞搞吧,定个时间,没反应劳资还不看了,跳过!

5.如果图集重复了,我想下载到同一个文件夹中,还不想覆盖原有的图片怎么办?我猜你肯定知道随便搞搞就行,你比我聪明!

6.我忘记了...

看我“自由派”的代码吧,大概会编程的人都受不了,框架结构什么的随便了,反正我乐意(斜眼)。直接跳过V1.0,V2.0,看V3.0吧!(建议V3.0也不用看,啥用啊)

那么,下载了图集长什么样子呢?

先看下下载过程大概长什么样子(其实根本没有过程):

下载后部分文件夹:

看看“窗外繁华盛开”,图片是什么样子:

这篇关于Python爬虫简单实现Q乐园图片下载的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/393491

相关文章

HTML5 getUserMedia API网页录音实现指南示例小结

《HTML5getUserMediaAPI网页录音实现指南示例小结》本教程将指导你如何利用这一API,结合WebAudioAPI,实现网页录音功能,从获取音频流到处理和保存录音,整个过程将逐步... 目录1. html5 getUserMedia API简介1.1 API概念与历史1.2 功能与优势1.3

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

一文深入详解Python的secrets模块

《一文深入详解Python的secrets模块》在构建涉及用户身份认证、权限管理、加密通信等系统时,开发者最不能忽视的一个问题就是“安全性”,Python在3.6版本中引入了专门面向安全用途的secr... 目录引言一、背景与动机:为什么需要 secrets 模块?二、secrets 模块的核心功能1. 基

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

python常见环境管理工具超全解析

《python常见环境管理工具超全解析》在Python开发中,管理多个项目及其依赖项通常是一个挑战,下面:本文主要介绍python常见环境管理工具的相关资料,文中通过代码介绍的非常详细,需要的朋友... 目录1. conda2. pip3. uvuv 工具自动创建和管理环境的特点4. setup.py5.

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,:本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM