Python爬虫学习笔记-第三课(网络请求模块下)

2024-05-02 06:32
文章标签 python 模块 学习 笔记 请求 网络 爬虫 第三课

本文主要是介绍Python爬虫学习笔记-第三课(网络请求模块下)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

网络请求模块下

  • 1. urllib-get案例
    • 1.1 代码需求：爬取贴吧数据
    • 1.2 代码思路
    • 1.3 代码实现
  • 2. urllib-post案例
  • 3. requests模块简介
    • 3.1 get案例：
    • 3.2 post案例：

1. urllib-get案例

1.1 代码需求：爬取贴吧数据

以“天命奇御”贴吧为例，一般贴吧上有许多不同类型的数据，有文字、图片、音频、视频等。笔者在这介绍的是向贴吧的url发起请求，获取响应对象，用read()方法读取内容，暂时不再具体解析数据类型。

在这里插入图片描述

代码想要实现的功能：

  1. 输入贴吧的主题（例如：天命奇御）
  2. 输入想要爬取的起始页和终止页（例如：1-3）
  3. 把每一页的数据保存到本地（例如：1.html）

1.2 代码思路

分析贴吧url的地址：

https://tieba.baidu.com/f?kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1&pn=0 第一页
https://tieba.baidu.com/f?kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1&pn=50 第二页
https://tieba.baidu.com/f?kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1&pn=100 第三页

从上述地址看，容易得出：pn = (page - 1) * 50
url地址可看成三部分组成：

  • 第一部分：https://tieba.baidu.com/f?，贴吧固定的服务器url
  • 第二部分：kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1，其中kw=后面的内容与想要搜索的贴吧有关，如果搜索中文贴吧需进行编码处理
  • 第三部分：&pn=0 与页数有关的参数。

解析完url地址后，接下来的步骤就是发起请求，获取响应对象，用read()方法读取内容，最后保存到本地。

1.3 代码实现

基础版：

# 导入需要的模块
import urllib.request
import urllib.parse
# 让用户输入想爬取的贴吧名字以及起始页、终止页
tieba_name = input('请输入贴吧的名称:')
begin_page = int(input('请输入起始页:'))
end_page = int(input('请输入终止页:'))
request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '
}
base_url = 'https://tieba.baidu.com/f?'
# 对中文名字进行处理
kw = {'kw': tieba_name}
name_url = urllib.parse.urlencode(kw)
# for循环控制爬取页面的流程
for i in range(begin_page, end_page+1):pn = (i-1)*50target_url = base_url + name_url + '&pn=' + str(pn)# print(target_url)# 发起请求req_obj = urllib.request.Request(target_url, headers=request_headers)res_obj = urllib.request.urlopen(req_obj)html = res_obj.read().decode('utf-8')# 保存数据filename = '第' + str(i) + '页.html'with open(filename, 'w', encoding='utf-8') as file_obj:print(f'正在爬取第{i}页数据...')file_obj.write(html)

运行结果：

在这里插入图片描述

函数进阶版：
编写思路：

  1. 创建读取页面函数，传递想爬取url参数；
  2. 创建写入数据函数，传递文件名以及读取的html；
  3. 创建主函数，获取用户输入，管理爬取数据的流程。
# 导入需要的模块
import urllib.request
import urllib.parse# 读取页面函数
def ReadPage(target_url):request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}# 发起请求req_obj = urllib.request.Request(target_url, headers=request_headers)res_obj = urllib.request.urlopen(req_obj)html = res_obj.read().decode('utf-8')return html# 写入数据函数
def WritePage(filename, html):with open(filename, 'w', encoding='utf-8') as file_obj:file_obj.write(html)def main():# 让用户输入想爬取的贴吧名字以及起始页、终止页tieba_name = input('请输入贴吧的名称:')begin_page = int(input('请输入起始页:'))end_page = int(input('请输入终止页:'))base_url = 'https://tieba.baidu.com/f?'# 对中文名字进行处理kw = {'kw': tieba_name}name_url = urllib.parse.urlencode(kw)# for循环控制爬取页面的流程for i in range(begin_page, end_page + 1):pn = (i - 1) * 50target_url = base_url + name_url + '&pn=' + str(pn)# 调用读取函数html = ReadPage(target_url)filename = '第' + str(i) + '页.html'print(f'正在爬取第{i}页数据...')# 调用写入函数WritePage(filename, html)if __name__ == '__main__':main()

运行结果：
在这里插入图片描述

面向对象进阶版：
编写思路：创建爬虫类，模拟上述的函数版本，将编写的函数写成类的实例方法。通过创建类对象，调用相关实例方法执行相应的程序。

# 导入需要的模块
import urllib.request
import urllib.parse
# 创建爬虫类
class BaiduSpider(object):def __init__(self):self.request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}self.base_url = 'https://tieba.baidu.com/f?'passdef ReadPage(self, target_url):# 发起请求req_obj = urllib.request.Request(target_url, headers=self.request_headers)res_obj = urllib.request.urlopen(req_obj)html = res_obj.read().decode('utf-8')return htmldef WritePage(self, filename, html):with open(filename, 'w', encoding='utf-8') as file_obj:file_obj.write(html)def main(self):# 让用户输入想爬取的贴吧名字以及起始页、终止页tieba_name = input('请输入贴吧的名称:')begin_page = int(input('请输入起始页:'))end_page = int(input('请输入终止页:'))# 对中文名字进行处理kw = {'kw': tieba_name}name_url = urllib.parse.urlencode(kw)# for循环控制爬取页面的流程for i in range(begin_page, end_page + 1):pn = (i - 1) * 50target_url = self.base_url + name_url + '&pn=' + str(pn)# 调用读取函数html = self.ReadPage(target_url)filename = '第' + str(i) + '页.html'print(f'正在爬取第{i}页数据...')# 调用写入函数self.WritePage(filename, html)if __name__ == '__main__':spider = BaiduSpider()spider.main()

运行结果：
在这里插入图片描述

2. urllib-post案例

以有道翻译为例：
在这里插入图片描述

  1. 确定真正请求的url：

http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule

  1. 发起请求的同时，需要携带 form data 里面的数据：

在这里插入图片描述

  1. 解析数据，得到翻译的结果。
# 导入需要的模块
import urllib.request
import urllib.parse
# 输入待翻译的内容
content = input('请输入您要翻译的内容:')
# 获取form data的内容
form_data = {'i': content,'from': 'AUTO','to': 'AUTO','smartresult': 'dict','client': 'fanyideskweb','salt': '16077413060659','sign': '5b46e99c245caaec4b621c41038a78f2','lts': '1607741306065','bv': 'f7d97c24a497388db1420108e6c3537b','doctype': 'json','version': '2.1','keyfrom': 'fanyi.web','action': 'FY_BY_REALTlME'
}
# 处理中文字符
form_data = urllib.parse.urlencode(form_data)
# 将str转换为bytes
form_data = bytes(form_data, 'utf-8')
target_url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '
}
req_obj = urllib.request.Request(target_url, data=form_data, headers=request_headers)
res_obj = urllib.request.urlopen(req_obj)
html = res_obj.read().decode('utf-8')
print(html)

容易出错的地方：

form_data = urllib.parse.urlencode(form_data)
req_obj = urllib.request.Request(target_url, data=form_data, headers=request_headers)
# TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.

传递到关键字data的参数 form_data 不能为str类型，所以传参之前需先将其转换为bytes类型，另外不要忘记指定编码格式utf-8。

运行结果：
在这里插入图片描述

出现errorCode的原因在于请求的url地址需要进一步处理，目前提供的解决方案是去掉translate后面的_o，若要进一步追究原因，需要学习JS逆向相关的知识，此处暂时不展开。

修改上述代码：

target_url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
# 顺便打印html的类型,修改最后一句print
print(html, type(html))

运行代码：
在这里插入图片描述

观察结果，html实际上是Json类型的字符串，需将其转化为python中容易分析的字典类型。

接下来，在上述代码的基础上，添加部分代码，解析出我们想要的结果：

import json
# 将json字符串转换为字典
r_dict = json.loads(html)
print(r_dict, type(r_dict))
# 逐步解析，直到获取想要的结果
result = r_dict['translateResult']
result = result[0][0]
result = result['tgt']
print('翻译结果：', result)

再次运行代码：
在这里插入图片描述

3. requests模块简介

3.1 get案例：

import requests
request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}
url = 'https://qq.yh31.com/zjbq/2920180.html'
# 请求时添加用户代理
res_obj = requests.get(url, headers=request_headers)
print(res_obj)

运行结果：
在这里插入图片描述

返回状态码200表示请求成功。

关于text和content属性：

  • content：字节流数据，从网站上直接获取的数据，没有做任何处理。
  • text：字符串数据，requests模块将content解码后得到的字符串，数据含有乱码是因为模块推测的解码方式与期望的不符。
# 对content使用decode()方法，手动选择utf-8编码格式
print(res_obj.content.decode('utf-8'))

运行结果：
结果

从结果看，乱码已经消除，且原本的字节流数据已经变成字符串类型。

另外，还可以看请求的状态码和url地址：

# 查看状态码和请求的url
print(res_obj.status_code)
print(res_obj.url)

运行结果：
在这里插入图片描述

3.2 post案例：

依旧以有道词典为例：

import requests
# 输入待翻译的内容
content = input('请输入您要翻译的内容:')
# 获取form data的内容
form_data = {'i': content,'from': 'AUTO','to': 'AUTO','smartresult': 'dict','client': 'fanyideskweb','salt': '16077413060659','sign': '5b46e99c245caaec4b621c41038a78f2','lts': '1607741306065','bv': 'f7d97c24a497388db1420108e6c3537b','doctype': 'json','version': '2.1','keyfrom': 'fanyi.web','action': 'FY_BY_REALTlME'
}
# 编辑headers，给出用户代理
request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}
# 请求url
target_url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
# 发起请求
res_obj = requests.post(target_url, data=form_data, headers=request_headers)
import json
r_dict = json.loads(res_obj.text)
result = r_dict['translateResult']
result = result[0][0]
result = result['tgt']
print('翻译结果：', result)

运行结果：
在这里插入图片描述

从代码上看，使用requests模块相比urllib要更简洁，res_obj.text可以直接得到json字符串。

为什么要学习源码：

  • 了解底层实现原理；
  • 了解优秀的框架/代码是如何编写出来；
  • 练习英文；
  • 提供思路，解决方案；
  • 程序员最基本的素养，企业开发的要求。

这篇关于Python爬虫学习笔记-第三课(网络请求模块下)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/953590。

相关文章

Python按照24个实用大方向精选的上千种工具库汇总整理

Python按照24个实用大方向精选的上千种工具库汇总整理

《Python按照24个实用大方向精选的上千种工具库汇总整理》本文整理了Python生态中近千个库,涵盖数据处理、图像处理、网络开发、Web框架、人工智能、科学计算、GUI工具、测试框架、环境管理等多... 目录1、数据处理文本处理特殊文本处理html/XML 解析文件处理配置文件处理文档相关日志管理日期和
阅读更多...
Python标准库datetime模块日期和时间数据类型解读

Python标准库datetime模块日期和时间数据类型解读

《Python标准库datetime模块日期和时间数据类型解读》文章介绍Python中datetime模块的date、time、datetime类,用于处理日期、时间及日期时间结合体,通过属性获取时间... 目录Datetime常用类日期date类型使用时间 time 类型使用日期和时间的结合体–日期时间(
阅读更多...
使用Python开发一个Ditto剪贴板数据导出工具

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3
阅读更多...
Python yield与yield from的简单使用方式

Python yield与yield from的简单使用方式

《Pythonyield与yieldfrom的简单使用方式》生成器通过yield定义,可在处理I/O时暂停执行并返回部分结果,待其他任务完成后继续,yieldfrom用于将一个生成器的值传递给另一... 目录python yield与yield from的使用代码结构总结Python yield与yield
阅读更多...
python使用Akshare与Streamlit实现股票估值分析教程（图文代码）

python使用Akshare与Streamlit实现股票估值分析教程（图文代码）

《python使用Akshare与Streamlit实现股票估值分析教程（图文代码）》入职测试中的一道题,要求:从Akshare下载某一个股票近十年的财务报表包括,资产负债表,利润表,现金流量表,保存... 目录一、前言二、核心知识点梳理1、Akshare数据获取2、Pandas数据处理3、Matplotl
阅读更多...
Django开发时如何避免频繁发送短信验证码（python图文代码）

Django开发时如何避免频繁发送短信验证码（python图文代码）

《Django开发时如何避免频繁发送短信验证码（python图文代码）》Django开发时,为防止频繁发送验证码,后端需用Redis限制请求频率,结合管道技术提升效率,通过生产者消费者模式解耦业务逻辑... 目录避免频繁发送 验证码1. www.chinasem.cn避免频繁发送 验证码逻辑分析2. 避免频繁
阅读更多...
精选20个好玩又实用的的Python实战项目(有图文代码)

精选20个好玩又实用的的Python实战项目(有图文代码)

《精选20个好玩又实用的的Python实战项目(有图文代码)》文章介绍了20个实用Python项目,涵盖游戏开发、工具应用、图像处理、机器学习等,使用Tkinter、PIL、OpenCV、Kivy等库... 目录① 猜字游戏② 闹钟③ 骰子模拟器④ 二维码⑤ 语言检测⑥ 加密和解密⑦ URL缩短⑧ 音乐播放
阅读更多...
python panda库从基础到高级操作分析

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作：数据读取与查看3. 索引操作：精准定位数据4. Group
阅读更多...
Python pandas库自学超详细教程

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入（CSV/Excel等）、数据结构（Series、DataFrame）、数据清洗、转换... 目录一、什么是Pandas库（1）、Pandas 应用（2）、Pandas 功能（3）、数据结构二、安
阅读更多...
Python使用Tenacity一行代码实现自动重试详解

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门：一行代码实现优雅重试精细控制：让重试按我
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2