python爬取图片一篇过【超!详细!零基础!】(02)selenium库:多案例图片链接获取+下载

本文主要是介绍python爬取图片一篇过【超!详细!零基础!】(02)selenium库:多案例图片链接获取+下载,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

OK,上一章我们已经配置好爬虫所需的环境,现在就可以大展身手了!

第二章的思维导图

 一、获取图片网址

首先打开pythonIDLE输入:

from selenium import webdriver
driver = webdriver.Chrome()#用selenium库打开谷歌浏览器
#或driver = webdriver.Chrome(executable_path=r'C:/Users/dell/anaconda3/chromedriver.exe')
#博主自己的Chromewebdriver就下在C:\Users\dell\anaconda3\,如果直接复制记得把反斜杠改为斜杠

(如果有报错看一下注释和上一章的注意事项,多半是版本问题)

如无意外浏览器成功打开:

 (打开之后会看见上面有一行“浏览器正受到自动化软件控制,问题不大,下一章我们会说怎么去除)

开始前复习一下上一章的网页基本知识,下面按 找节点-->找要素-->得到要素的值 

  • 节点的名称有的叫div,有的叫a,有的叫img。
  • 我们所需的要素也有一个名称,有的叫class,有的叫id,有的叫src。
  • 这些节点里面的要素有一个(比如class=“”里面的东西),网页上所有的元素,都存放在这一个个值中。通过这些要素的值,我们可以寻找到特定的节点;也可以根据值的名称,在节点里获取这个值
  • 我们所需的图片地址,一般就是img节点的src要素的值

再看一下要用的函数

  • find_elements类——根据关键词(节点名称或者节点内要素的值)返回一个数组,其中每个元素的类型是网络元素
  • find_element类——根据关键词返回一个网络元素
  • get_attribute——根据要素的名称返回要素的值,类型是字符串或数字

接下来,我们写程序的大思路就是 找图片所在节点-->找图片地址所在要素-->得到要素的值 

而实现的方式就是用find_element(s)类函数找节点用get_attribute函数找要素的值

 01找图片所在节点

也就是,我们要定位到img节点

以花瓣https://huaban.com/discovery/travel_places/为例

driver.get('https://huaban.com/discovery/travel_places/')
浏览器自动打开了网页

这时点F12,打开开发者工具,找节点思路如下:

打开开发者工具

1.具体分析网络元素

  •  首先对一个图片右键检查,看看想要的图片地址在哪里——发现图片地址就在img节点里面src元素的值里
  • 然后看img节点是否包含在一个有特征要素值的节点中——找到了img节点包含在a节点里面,这个a节点有一个要素class 叫做'img x layer-view loaded'

注意:

  1. 要找包含img节点的节点(上级节点),同级别节点(缩进相同)无效
  2. 所谓特征要素值指的是,通过它就可以找到所有包含img节点的上级节点

   

2.验证特征要素值是否OK

在打开开发者工具的情况下,按Ctrl+F,找class叫img x layer-view loaded的节点

 

 发现的确就找到了所有img节点的上级节点,所以这个特征要素值可行

3.代码实现

方法一分步找(在这个例子中不行):

target = driver.find_elements_by_class_name('img x layer-view loaded')
t0 = target[0]
img_list0 = t0.find_element_by_tag_name('img')#fine_element需要对单个元素操作
#在IDLE中我们先单个取,运行正常后再复制到pycharm写成循环形式
#dir(target)
#dir(t0)
#len(img_list)

注意:

  1. 这个找法会报错(狗头)——因为用find_element(s)_by_class_name的名称中不能有空格
  2. find_element类函数不能对数组使用,只能对元素使用(所以例子中先取了一个元素)
  3. 可以用dir()函数查看一个变量包含了哪些类函数(如dir(t0))
  4. 可以用len()函数查看一个数组的长度,检验是否获取到了所需的元素(如len(target))

方法二xpath找:

img_list = driver.find_elements_by_xpath('//*[@class="img x layer-view loaded"]/img')
#或img_list = driver.find_elements_by_xpath('//a[@class="img x layer-view loaded"]/img')
#但有时候指明节点名容易报错,博主个人更喜欢通配符法

用xpath语法在selenium库中找元素是很主流的,简单的介绍一下:

  1. 开头:相对路径查找——//;绝对路径查找——/(比如上面的例子,就是相对路径开始,绝对路径麻烦一般不用
  2. 节点中:根据要素的值找——*[@class=""];*[@id=""](上面例子用了class要素)
  3. 节点间:直接子节点——/;间接子节点——//(该例子中img节点是a节点的直接子节点)

感兴趣的同学可以看看这篇文章:

爬虫Xpath语法详解_T型人小付的博客-CSDN博客

另外通过开发者工具,我们也可以把某个元素的xpath找出来

上是相对路径xpath,下是绝对路径xpth

 注意:

  1. xpath语法和selenium库中的xpath语法不尽相同,有传闻说不要超过两个节点,总之太复杂的时候就分步取,还是这个例子:
target = driver.find_elements_by_xpath('//*[@class="img x layer-view loaded"]')
t0 = target[0]
img_list0 = t0.find_element_by_tag_name('img')

      2.在IDLE调试正确才写入pycharm,因为xpath报错会很大一堆,极影响心态

方法三css找:

css也要求节点名无空格,因此这里不推荐

后面第四章我们讲到爬取商品信息时会较多用到css查找

4.下面分别再用这三种方法,看另一个实战案例

爬取某二次元图片网站https://pixivel.moe/rank/获取图片所在节点

观察到图像都在一个class名为one-img的div节点中(要使用Ctrl+F检验)

方法一分步查找

img_list = driver.find_elements_by_class_name('one-img')
#这个案例一个要素名就搞定了

方法二xpath查找

img_list = driver.find_elements_by_xpath('//*[@class="card the-img shadow--hover waterfall-item"]/div[2]')
#或img_list = driver.find_elements_by_class_name('one-img')#这个更直接

方法三css查找

img_list = driver.find_elements_by_css_selector('one-img')

02获取节点里要素的值(即图片网址)

无论用哪种方法上一步我们已经得到了一个由所有图片所在节点组成的数组,现在来取图片网址

img_list0 = img_list[0]
img_path0 = img_list0.get_attribute('src')
#dir(img_path0)

这个img_path0就是我们成功获得的第一个图片网址!

然后我们写成循环遍历一下即可

img_path = []
for img in img_list:path = img.get_attribute('src')img_path.append(path)

现在得到的img_path数组里面就是所有图片的网址!

二、下载图片

01修正网址

其实,上一步我们说已经得到所有图片网站,是不严谨的

首先有的网站爬取下来的网址不含http://或https://

其次是网站里面多半有防爬和略缩图机制存在,有时候爬取到的地址在原页面中查看的图片地址点入图片查看到的地址都是不同的!!!(离谱)

所以这就是为什么有的同学按教程爬到了图片,非常高兴,打开一看却全是小图

因此在写进循环前,我建议还要print一下图片网址

图2-1

图2-2

 以这张图片为例

[1]爬取到的https://hbimg.huabanimg.com/f4222449cb11ee162a75eb366572cfc80738e1171b47d-exEtQp_fw236/format/webp

[2]原网页的(图2-1)https://hbimg.huabanimg.com/f4222449cb11ee162a75eb366572cfc80738e1171b47d-exEtQp_fw236/format/webp

[3]原图的(图2-2)​​​​​​https://hbimg.huabanimg.com/f4222449cb11ee162a75eb366572cfc80738e1171b47d-exEtQp_fw658/format/webp

 可以发现我们爬取到的网址和原图有一个数字的差别,需要用字符串操作修正

这里用到的是字符串的截取和相加,要用时在CSDN查找“python字符串操作”翻阅即可

img_list0 = img_list0[0:-12] + 'fw658/format/webp'

写进循环里面

img_path = []
for img in img_list:path = img.get_attribute('src')path = path[0:-12] + 'fw658/format/webp'img_path.append(path)

现在得到的img_path数组就是高清原图数组啦!

02由网址下载图片

首先要在程序最开头import两个库(requests是外部库,os是内部库)

然后按照这个模板写代码就OK

import requests
import osimg_dir = os.path.join(os.curdir, 'travel_images')#traval_images是文件夹名称'''创建文件夹'''
if not os.path.isdir(img_dir):os.mkdir(img_dir)'''下载图片'''
for path in img_path:img_name = 'flower' + path.split('/')[-3] + '.jpg'#图片名称filepath = os.path.join(img_dir, img_name)resp = requests.get(img)with open(filepath, 'wb') as f:for chunk in resp.iter_content(1024):#限速写入图片f.write(chunk)

(注意:如果同学们心急在pycharm上运行,记得一定要在最顶端输入

# -*- coding:UTF-8 -*-

不要问问就是编码方式)


 上一章是完整配置流程欢迎进去坐坐

(35条消息) 【小白+python+selenium库+图片爬取+反爬+资料】超详细新手实现(01)webdriver环境配置+新手基础知识_白熊快跑的博客-CSDN博客https://blog.csdn.net/qq_53021454/article/details/120538464?spm=1001.2014.3001.5501

下一章会继续仔细讲程序在pycharm上运行,包括防爬+翻页+完整代码,喜欢的朋友请追更~

过路的小伙伴觉得有用的话请帮我多多分享点赞!!!这对小透明的我很重要,感谢!

我们下章见~

这篇关于python爬取图片一篇过【超!详细!零基础!】(02)selenium库:多案例图片链接获取+下载的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/qq_53021454/article/details/120602141
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/560223

相关文章

nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析(结合应用场景)

《nginx-t、nginx-sstop和nginx-sreload命令的详细解析(结合应用场景)》本文解析Nginx的-t、-sstop、-sreload命令,分别用于配置语法检... 以下是关于 nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析,结合实际应

Spring boot整合dubbo+zookeeper的详细过程

《Springboot整合dubbo+zookeeper的详细过程》本文讲解SpringBoot整合Dubbo与Zookeeper实现API、Provider、Consumer模式,包含依赖配置、... 目录Spring boot整合dubbo+zookeeper1.创建父工程2.父工程引入依赖3.创建ap

SQL server数据库如何下载和安装

《SQLserver数据库如何下载和安装》本文指导如何下载安装SQLServer2022评估版及SSMS工具,涵盖安装配置、连接字符串设置、C#连接数据库方法和安全注意事项,如混合验证、参数化查... 目录第一步:打开官网下载对应文件第二步:程序安装配置第三部:安装工具SQL Server Manageme

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

创建Java keystore文件的完整指南及详细步骤

《创建Javakeystore文件的完整指南及详细步骤》本文详解Java中keystore的创建与配置,涵盖私钥管理、自签名与CA证书生成、SSL/TLS应用,强调安全存储及验证机制,确保通信加密和... 目录1. 秘密键(私钥)的理解与管理私钥的定义与重要性私钥的管理策略私钥的生成与存储2. 证书的创建与

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过