Python爬虫首秀:尝试爬取热播英美剧剧名及评分

2024-02-11 04:08

本文主要是介绍Python爬虫首秀:尝试爬取热播英美剧剧名及评分,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    第一次尝试,踩了很多坑,面向百度编程实战~

在寻找具体的URL上,翻来覆去的研究的半天,毕竟,模拟浏览器发送请求,最为重要的就是保证请求的URL一定要是对的,稍有不慎便会失之毫厘谬以千里(有点夸张、夸夸其谈、夸……)
最初直接写了N行命令,各种尝试,如愿以偿后便想着对代码进行完善一下,然而对于小白而言,面向对象的写法,仍旧只是个说法,还未能落地。
废话不多说,附上代码,供大佬们批评指点~

# -*- coding: UTF-8 -*-# 导入第三方库
import requests
import jsonpath
import json# 定义方法,发送请求,返回响应数据
def __getRequests__():# 确定urlurl = 'https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?'# 实现对应页码进行爬取pn = int(input('请输入查询页码:'))# 定义url对应的参数params = {"for_mobile": pn,"start": (pn - 1) * 18,"count": pn * 18,}# 定义请求头headers = {'Referer': 'https://m.douban.com/tv/american','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36',}# 发送请求、获取响应response = requests.get(url, headers=headers, params=params).content.decode()# 把json响应转为字典dict_data = json.loads(response)return dict_data# 定义main方法,对响应数据进行处理并打印
def main():result = __getRequests__()# 将剧名存入列表Movie_name = jsonpath.jsonpath(result, '$..title')# 将剧名对应的评分存入列表Movie_value = jsonpath.jsonpath(result, '$..value')print('豆瓣最近热播的英美剧:')i = 0try:while True:print(f'剧名:{Movie_name[i]}|🌹❀🌹❀🌹|评分:{Movie_value[i]}')i += 1except:if i == 18:print('未完待续')else:print('读取结束,后续更新')if __name__ == '__main__':main()

人生苦短,学有所择,学有所需,学有所得~
进步不怕晚,不怕慢,远胜于止步不前。

下期再见~

这篇关于Python爬虫首秀:尝试爬取热播英美剧剧名及评分的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/698791

相关文章

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四