【爬虫基础1.1课】——requests模块

2024-05-09 21:52

本文主要是介绍【爬虫基础1.1课】——requests模块,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录索引

  • ==requests模块的作用:==
    • 实例引入:
  • ==特殊情况:==
    • 锦囊1:
    • 锦囊2:

这一个栏目,我会给出我从零开始学习爬虫的全过程。感兴趣的小伙伴可以关注一波,用于复习和新学都是不错的选择。
那么废话不多说,就让我们开始吧。
请跟我念口号:
爬虫,爽!
在这里插入图片描述

requests模块的作用:

一句话概括:用于发送和接受网站的响应。

Tips: 你给谁发请求,接收到的就是哪个网页传回来的响应。所以想学好爬虫,第一步就是向正确的网址发送响应。

实例引入:

  1. 比如说我们拿京东网站来举例。里面有非常多的数据,包括一切动态加载的数据。那如果我要只想要当前网页的静态数据,该怎么获取呢?

在这里插入图片描述
2.打开网页检查

在这里插入图片描述

这里面最重要的两个按钮就是:元素和网络。
其中,元素是整个网页的html代码。
而网络是我们爬虫的重点。

3.进入到网络界面后,找到对应的url

记得要刷新一下,这里面有各种各样的数据,包括动态的。我们需要将当前网页的网址复制到搜索框里进行检索。

在这里插入图片描述

那么跳出来的响应,就是我们要的当前网页返回的数据

4.检查url是否正确

从响应里面的response查看、搜索里面是否有我们需要的数据

在这里插入图片描述

特殊情况:

我们在实际使用爬虫的过程中,经常会遇到内容不在该页面或者压根找不到的情况。非常麻烦,那该怎么办呢?
莫慌,吾有良计!

锦囊1:

利用search按钮,对全页面的response数据进行总检索。

例子展示:

我们首先要拿出最经典的豆瓣电影网来做参考:
在这里插入图片描述

功夫是一个相当经典的电影。看上述图片,我们用本文开篇提到的搜索方法,发现功夫这个词条根本就不存在当前网页的response中。这时候我们就需要用到search按钮。

在这里插入图片描述

控制台中左上角的这个小放大镜,就是我们提到的search按钮。它的功能是在所有的response中检索相应的词条。

在这里插入图片描述

这下我们就能找到相应的url了,是不是非常简便呢。

锦囊2:

利用翻页的异步请求方式。如果锦囊1依旧找不到对应的url的话,我们就需要使用异步请求来查看对应的url。

1.首先清空网页内容,点击红框按钮即可。

在这里插入图片描述
2.我们都知道前端页面的设计具有规律性,网页中第2页获取请求的方式,跟第一页是一样的。所以我们会通过查看第二页的方式来获取对应的url。

在这里插入图片描述
3.寻找页码规律就可以找出对应的url了。最后,我们会得到一个json格式的数据。

在这里插入图片描述

这篇关于【爬虫基础1.1课】——requests模块的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/974603

相关文章

java基础语法难点(day01-day05)

学学高级语言,面向对象的语言,和c语言比起来,前面的语法还是有一定的相似度的,所以,在学习面向对象之前,简单的把java的一些常用的基础语法过一遍,相当于复习了。 有个隐形的类型转换,但是就是小的转到大的,可以。但是如果是int数据类型转到小一点的short去,不强制类型转换就会溢出报错。 注意+=这个扩展运算符是可以接受类型转换的,所以不会报错。 三元运算符中的三个数比较最大值: int

java基础—java中使用final关键字的总结

有时候我,们希望某些东西是亘古不变的,可以使用final关键字完成这个重任! final学习总结: 1:final + 属性 如果属性是基本数据类型(byte 字节型short 短整型int 普通整型char 字符型float 浮点型long 长整型double 双精度),则变为常量,其值不能被更改;如果属性是引用类型,则引用地址不能被更改。(final 修饰一个对象,那么这个对象的引用地址

mybaits基础增删改查-------mybatis(四)

Mybatis的增删改查 mybatis流程: 1 创建实体类及接口方法 2 创建全局配置文件 configuration.xml 3 创建 sql 映射文件 BlogMapper.xml 4 将全局文件中维护 sql映射文件配置 5 调用java API 执行相关sql操作 注意sqlSession是线程非安全的 实体java类: package model;public class Blo

sort常用排序模式---------shell基础篇(三)

sort 排序命令使用 表达式意义sort -c test测试文件“test”是否已经经过排序,一般用处不大sort -k1 test.txt按照第1域对文件test.txt进行排序,日常可以用来对合并的日志文件进行时间排序sort -k1 -m log1.txt log2.txt按照第一域进行排序后合并输出到控制台,建议使用“>>” 将合并内容输出到另一个文件中sort -t / -k3 te

Spring Boot 多模块项目创建

一.前言 maven多模块项目通常由一个父模块和若干个子模块构成,每个模块都对应着一个pom.xml。它们之间通过继承和聚合(也称作多模块)相互关联。多模块适用于一些比较大的项目,通过合理的模块拆分,实现代码的复用,便于维护和管理。例如Dubbo项目的多模块创建 二.创建项目 1.创建父级项目 一、在界面左上角选择File->New->Project后,选择Spring Initializ

持续总结中!2024年面试必问 100 道 Java基础面试题(五十)

上一篇地址:持续总结中!2024年面试必问 100 道 Java基础面试题(四十九)-CSDN博客 九十九、请解释Java中的单例模式及其实现方式 单例模式(Singleton Pattern)是一种常用的软件设计模式,它确保一个类只有一个实例,并提供一个全局访问点来获取这个实例。单例模式在Java中的实现有多种方式,每种方式都有其特点和适用场景。 单例模式的特点: 单例类只能有一个实例:

基础Socket通信

本文使用三个类完成客户端与服务端的 Socket 通信。     Client:客户端,可完成信息收发     Server:服务端,监听客户端请求,为了方便,也可以收发信息     MessageHandleRunnable:实际收发信息的 Runnable 类      import java.io.IOException;import java.net.ServerSoc

##24 多模态深度学习基础:框架、应用与展望

文章目录 前言1. 多模态学习的概念与重要性2. 关键技术框架2.1 数据表示与特征提取2.2 模态融合策略2.3 多任务学习 3. 应用实例3.1 医疗图像分析3.2 自动驾驶汽车3.3 情感分析 4. 挑战与未来展望结语 前言 在深度学习的世界中,多模态学习是一个令人兴奋的前沿领域,它旨在整合来自不同数据源的信息,例如文本、图像和音频,以创造出能更全面理解和处理复杂数

MySQL①——核心基础(约束、数据库范式、多表、事务、权限、DDL、DML、DQL、DCL、TPL、忘记数据库密码)

MySQL①——核心基础(约束、数据库范式、多表、事务、权限、DDL、DML、DQL、DCL、TPL、忘记数据库密码) <<<<<CSDN排版不美观,想看美观的进MySQL①——核心基础(约束、数据库范式、多表、事务、权限、DDL、DML、DQL、DCL、TPL、忘记数据库密码)>>>>> 1、MySQL(关系型数据库管理系统) ①MySQL概述 MySQL是一个关系型数据库管理系统,由瑞

Python—②Python基础

Python—②Python基础 <<<CSDN排版不美观,想看排版美观的进Python—②Python基础>>> 1、Python基础 ①注释 注释作用: 1、添加注释,增强可读性,方便自己一段时间之后或者其他人快速读懂代码 2、调试代码,当代码出现问题,先不要删除掉,而是注释掉 单行注释(行注释):需要注释的内容前面加 #,不过为了保证良好的可读性,建议# 后面添加一个空格,然后再编写相