爬虫实战(一)零基础应该也能看懂 爬取斗图啦上的图片爬取

2023-10-18 17:20

本文主要是介绍爬虫实战(一)零基础应该也能看懂 爬取斗图啦上的图片爬取,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

爬虫(模仿博客上的内容:换一个网站进行操作)
爬取网站上的图片
1.搞清思路
想要下载图片就要搞清图片的代码在哪里
想要批量下载就要搞清这些图片的代码规律
下面图片里有我的思路

在这里插入图片描述
下面是我写的代码 和解释 =前面的是自己命名的,不知道他会出来什么的时候可以print()打印一下名字 看结果是什么
这是效果图 我写的时间 2019/11/03 复制下 改一下保存那个位置应该可以用
在这里插入图片描述2
在这里插入图片描述

在这里插入代码片
#导入框架     #号是用来注释的#后面的没有任何额效果
import re
import requests
#确定url
url='https://www.doutula.com/article/list/?page=%d'#这是网页的网址 %d  d是占数字时 后面用%+内容可以换掉里面的内容
for i in range(1,4):#用for循环列出1-4我想下载4个网站上的图片  #for循环一次下面的循环一边temp=url%i#获取源码   #这时候就用%i {i就是1-3},替换掉url中的%dreponse=requests.get(temp).text#这时候我们用requests 请求库 用get 的方式请求网站获取源码 用.text把获取源码并转化为文本#正则删选mig_url=re.findall(r'(data-original)="(.*?)"',reponse) #正则表达式 来得到我们想要的图片网址#我不太会正则只会个.*匹配全部的for mig_urls in mig_url:#用for循环把 删选的源码 图片列出来mig_urls=mig_urls[-1]#因为不太会正则所以删选的数据又多出来的部分 我只需要最后面的图片源码所以用[-1]mig_name=mig_urls.split('/')[-1] #提取图片的名字。。。mig_urls=requests.get(mig_urls).content#把提取出的图片源码 用requests.get的方式请求,.content转为二进制#保存下载的东西with open('./c/%s'%mig_name,'wb') as ll:# ()里面的内容 保存的位置  ./是当前文件夹 %s   s占位字符串 ,wb是写入权限ll.write(mig_urls)#(ll)这个是随意写的和上面写的一至即可  文件写入 下载的二进制()里面输入的是上面求的

这篇关于爬虫实战(一)零基础应该也能看懂 爬取斗图啦上的图片爬取的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/234051

相关文章

SpringBoot整合AOP及使用案例实战

《SpringBoot整合AOP及使用案例实战》本文详细介绍了SpringAOP中的切入点表达式,重点讲解了execution表达式的语法和用法,通过案例实战,展示了AOP的基本使用、结合自定义注解以... 目录一、 引入依赖二、切入点表达式详解三、案例实战1. AOP基本使用2. AOP结合自定义注解3.

Java使用Spire.Doc for Java实现Word自动化插入图片

《Java使用Spire.DocforJava实现Word自动化插入图片》在日常工作中,Word文档是不可或缺的工具,而图片作为信息传达的重要载体,其在文档中的插入与布局显得尤为关键,下面我们就来... 目录1. Spire.Doc for Java库介绍与安装2. 使用特定的环绕方式插入图片3. 在指定位

Java利用Spire.Doc for Java实现在模板的基础上创建Word文档

《Java利用Spire.DocforJava实现在模板的基础上创建Word文档》在日常开发中,我们经常需要根据特定数据动态生成Word文档,本文将深入探讨如何利用强大的Java库Spire.Do... 目录1. Spire.Doc for Java 库介绍与安装特点与优势Maven 依赖配置2. 通过替换

Java 队列Queue从原理到实战指南

《Java队列Queue从原理到实战指南》本文介绍了Java中队列(Queue)的底层实现、常见方法及其区别,通过LinkedList和ArrayDeque的实现,以及循环队列的概念,展示了如何高效... 目录一、队列的认识队列的底层与集合框架常见的队列方法插入元素方法对比(add和offer)移除元素方法

Spring Boot基于 JWT 优化 Spring Security 无状态登录实战指南

《SpringBoot基于JWT优化SpringSecurity无状态登录实战指南》本文介绍如何使用JWT优化SpringSecurity实现无状态登录,提高接口安全性,并通过实际操作步骤... 目录Spring Boot 实战:基于 JWT 优化 Spring Security 无状态登录一、先搞懂:为什

C++11中的包装器实战案例

《C++11中的包装器实战案例》本文给大家介绍C++11中的包装器实战案例,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录引言1.std::function1.1.什么是std::function1.2.核心用法1.2.1.包装普通函数1.2.

Nginx概念、架构、配置与虚拟主机实战操作指南

《Nginx概念、架构、配置与虚拟主机实战操作指南》Nginx是一个高性能的HTTP服务器、反向代理服务器、负载均衡器和IMAP/POP3/SMTP代理服务器,它支持高并发连接,资源占用低,功能全面且... 目录Nginx 深度解析:概念、架构、配置与虚拟主机实战一、Nginx 的概念二、Nginx 的特点

Spring IOC核心原理详解与运用实战教程

《SpringIOC核心原理详解与运用实战教程》本文详细解析了SpringIOC容器的核心原理,包括BeanFactory体系、依赖注入机制、循环依赖解决和三级缓存机制,同时,介绍了SpringBo... 目录1. Spring IOC核心原理深度解析1.1 BeanFactory体系与内部结构1.1.1

Redis 命令详解与实战案例

《Redis命令详解与实战案例》本文详细介绍了Redis的基础知识、核心数据结构与命令、高级功能与命令、最佳实践与性能优化,以及实战应用场景,通过实战案例,展示了如何使用Redis构建高性能应用系统... 目录Redis 命令详解与实战案例一、Redis 基础介绍二、Redis 核心数据结构与命令1. 字符

在SpringBoot+MyBatis项目中实现MySQL读写分离的实战指南

《在SpringBoot+MyBatis项目中实现MySQL读写分离的实战指南》在SpringBoot和MyBatis项目中实现MySQL读写分离,主要有两种思路:一种是在应用层通过代码和配置手动控制... 目录如何选择实现方案核心实现:应用层手动分离实施中的关键问题与解决方案总结在Spring Boot和