爬虫实战(一)零基础应该也能看懂 爬取斗图啦上的图片爬取

2023-10-18 17:20

本文主要是介绍爬虫实战(一)零基础应该也能看懂 爬取斗图啦上的图片爬取,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

爬虫(模仿博客上的内容:换一个网站进行操作)
爬取网站上的图片
1.搞清思路
想要下载图片就要搞清图片的代码在哪里
想要批量下载就要搞清这些图片的代码规律
下面图片里有我的思路

在这里插入图片描述
下面是我写的代码 和解释 =前面的是自己命名的,不知道他会出来什么的时候可以print()打印一下名字 看结果是什么
这是效果图 我写的时间 2019/11/03 复制下 改一下保存那个位置应该可以用
在这里插入图片描述2
在这里插入图片描述

在这里插入代码片
#导入框架     #号是用来注释的#后面的没有任何额效果
import re
import requests
#确定url
url='https://www.doutula.com/article/list/?page=%d'#这是网页的网址 %d  d是占数字时 后面用%+内容可以换掉里面的内容
for i in range(1,4):#用for循环列出1-4我想下载4个网站上的图片  #for循环一次下面的循环一边temp=url%i#获取源码   #这时候就用%i {i就是1-3},替换掉url中的%dreponse=requests.get(temp).text#这时候我们用requests 请求库 用get 的方式请求网站获取源码 用.text把获取源码并转化为文本#正则删选mig_url=re.findall(r'(data-original)="(.*?)"',reponse) #正则表达式 来得到我们想要的图片网址#我不太会正则只会个.*匹配全部的for mig_urls in mig_url:#用for循环把 删选的源码 图片列出来mig_urls=mig_urls[-1]#因为不太会正则所以删选的数据又多出来的部分 我只需要最后面的图片源码所以用[-1]mig_name=mig_urls.split('/')[-1] #提取图片的名字。。。mig_urls=requests.get(mig_urls).content#把提取出的图片源码 用requests.get的方式请求,.content转为二进制#保存下载的东西with open('./c/%s'%mig_name,'wb') as ll:# ()里面的内容 保存的位置  ./是当前文件夹 %s   s占位字符串 ,wb是写入权限ll.write(mig_urls)#(ll)这个是随意写的和上面写的一至即可  文件写入 下载的二进制()里面输入的是上面求的

这篇关于爬虫实战(一)零基础应该也能看懂 爬取斗图啦上的图片爬取的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/234051

相关文章

Python 函数详解:从基础语法到高级使用技巧

《Python函数详解:从基础语法到高级使用技巧》本文基于实例代码,全面讲解Python函数的定义、参数传递、变量作用域及类型标注等知识点,帮助初学者快速掌握函数的使用技巧,感兴趣的朋友跟随小编一起... 目录一、函数的基本概念与作用二、函数的定义与调用1. 无参函数2. 带参函数3. 带返回值的函数4.

Python实现Word转PDF全攻略(从入门到实战)

《Python实现Word转PDF全攻略(从入门到实战)》在数字化办公场景中,Word文档的跨平台兼容性始终是个难题,而PDF格式凭借所见即所得的特性,已成为文档分发和归档的标准格式,下面小编就来和大... 目录一、为什么需要python处理Word转PDF?二、主流转换方案对比三、五套实战方案详解方案1:

SpringBoot实现RSA+AES自动接口解密的实战指南

《SpringBoot实现RSA+AES自动接口解密的实战指南》在当今数据泄露频发的网络环境中,接口安全已成为开发者不可忽视的核心议题,RSA+AES混合加密方案因其安全性高、性能优越而被广泛采用,本... 目录一、项目依赖与环境准备1.1 Maven依赖配置1.2 密钥生成与配置二、加密工具类实现2.1

Nginx进行平滑升级的实战指南(不中断服务版本更新)

《Nginx进行平滑升级的实战指南(不中断服务版本更新)》Nginx的平滑升级(也称为热升级)是一种在不停止服务的情况下更新Nginx版本或添加模块的方法,这种升级方式确保了服务的高可用性,避免了因升... 目录一.下载并编译新版Nginx1.下载解压2.编译二.替换可执行文件,并平滑升级1.替换可执行文件

Java使用Thumbnailator库实现图片处理与压缩功能

《Java使用Thumbnailator库实现图片处理与压缩功能》Thumbnailator是高性能Java图像处理库,支持缩放、旋转、水印添加、裁剪及格式转换,提供易用API和性能优化,适合Web应... 目录1. 图片处理库Thumbnailator介绍2. 基本和指定大小图片缩放功能2.1 图片缩放的

精选20个好玩又实用的的Python实战项目(有图文代码)

《精选20个好玩又实用的的Python实战项目(有图文代码)》文章介绍了20个实用Python项目,涵盖游戏开发、工具应用、图像处理、机器学习等,使用Tkinter、PIL、OpenCV、Kivy等库... 目录① 猜字游戏② 闹钟③ 骰子模拟器④ 二维码⑤ 语言检测⑥ 加密和解密⑦ URL缩短⑧ 音乐播放

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

SQL Server跟踪自动统计信息更新实战指南

《SQLServer跟踪自动统计信息更新实战指南》本文详解SQLServer自动统计信息更新的跟踪方法,推荐使用扩展事件实时捕获更新操作及详细信息,同时结合系统视图快速检查统计信息状态,重点强调修... 目录SQL Server 如何跟踪自动统计信息更新:深入解析与实战指南 核心跟踪方法1️⃣ 利用系统目录

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》:本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1:itextpdf7填充表单(1)加入依赖(2)代码(3)遇到的问题方法2:pd

PyTorch中的词嵌入层(nn.Embedding)详解与实战应用示例

《PyTorch中的词嵌入层(nn.Embedding)详解与实战应用示例》词嵌入解决NLP维度灾难,捕捉语义关系,PyTorch的nn.Embedding模块提供灵活实现,支持参数配置、预训练及变长... 目录一、词嵌入(Word Embedding)简介为什么需要词嵌入?二、PyTorch中的nn.Em