Python爬虫首秀:尝试爬取热播英美剧剧名及评分

2024-02-11 04:08

本文主要是介绍Python爬虫首秀:尝试爬取热播英美剧剧名及评分,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    第一次尝试,踩了很多坑,面向百度编程实战~

在寻找具体的URL上,翻来覆去的研究的半天,毕竟,模拟浏览器发送请求,最为重要的就是保证请求的URL一定要是对的,稍有不慎便会失之毫厘谬以千里(有点夸张、夸夸其谈、夸……)
最初直接写了N行命令,各种尝试,如愿以偿后便想着对代码进行完善一下,然而对于小白而言,面向对象的写法,仍旧只是个说法,还未能落地。
废话不多说,附上代码,供大佬们批评指点~

# -*- coding: UTF-8 -*-# 导入第三方库
import requests
import jsonpath
import json# 定义方法,发送请求,返回响应数据
def __getRequests__():# 确定urlurl = 'https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?'# 实现对应页码进行爬取pn = int(input('请输入查询页码:'))# 定义url对应的参数params = {"for_mobile": pn,"start": (pn - 1) * 18,"count": pn * 18,}# 定义请求头headers = {'Referer': 'https://m.douban.com/tv/american','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36',}# 发送请求、获取响应response = requests.get(url, headers=headers, params=params).content.decode()# 把json响应转为字典dict_data = json.loads(response)return dict_data# 定义main方法,对响应数据进行处理并打印
def main():result = __getRequests__()# 将剧名存入列表Movie_name = jsonpath.jsonpath(result, '$..title')# 将剧名对应的评分存入列表Movie_value = jsonpath.jsonpath(result, '$..value')print('豆瓣最近热播的英美剧:')i = 0try:while True:print(f'剧名:{Movie_name[i]}|🌹❀🌹❀🌹|评分:{Movie_value[i]}')i += 1except:if i == 18:print('未完待续')else:print('读取结束,后续更新')if __name__ == '__main__':main()

人生苦短,学有所择,学有所需,学有所得~
进步不怕晚,不怕慢,远胜于止步不前。

下期再见~

这篇关于Python爬虫首秀:尝试爬取热播英美剧剧名及评分的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/698791

相关文章

Python多重继承慎用的地方

《Python多重继承慎用的地方》多重继承也可能导致一些问题,本文主要介绍了Python多重继承慎用的地方,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录前言多重继承要慎用Mixin模式最后前言在python中,多重继承是一种强大的功能,它允许一个

python+OpenCV反投影图像的实现示例详解

《python+OpenCV反投影图像的实现示例详解》:本文主要介绍python+OpenCV反投影图像的实现示例详解,本文通过实例代码图文并茂的形式给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前言二、什么是反投影图像三、反投影图像的概念四、反向投影的工作原理一、利用反向投影backproj

Python中edge-tts实现便捷语音合成

《Python中edge-tts实现便捷语音合成》edge-tts是一个功能强大的Python库,支持多种语言和声音选项,本文主要介绍了Python中edge-tts实现便捷语音合成,具有一定的参考价... 目录安装与环境设置文本转语音查找音色更改语音参数生成音频与字幕总结edge-tts 是一个功能强大的

使用Python和PaddleOCR实现图文识别的代码和步骤

《使用Python和PaddleOCR实现图文识别的代码和步骤》在当今数字化时代,图文识别技术的应用越来越广泛,如文档数字化、信息提取等,PaddleOCR是百度开源的一款强大的OCR工具包,它集成了... 目录一、引言二、环境准备2.1 安装 python2.2 安装 PaddlePaddle2.3 安装

Python+PyQt5开发一个Windows电脑启动项管理神器

《Python+PyQt5开发一个Windows电脑启动项管理神器》:本文主要介绍如何使用PyQt5开发一款颜值与功能并存的Windows启动项管理工具,不仅能查看/删除现有启动项,还能智能添加新... 目录开篇:为什么我们需要启动项管理工具功能全景图核心技术解析1. Windows注册表操作2. 启动文件

Python datetime 模块概述及应用场景

《Pythondatetime模块概述及应用场景》Python的datetime模块是标准库中用于处理日期和时间的核心模块,本文给大家介绍Pythondatetime模块概述及应用场景,感兴趣的朋... 目录一、python datetime 模块概述二、datetime 模块核心类解析三、日期时间格式化与

Java调用Python的四种方法小结

《Java调用Python的四种方法小结》在现代开发中,结合不同编程语言的优势往往能达到事半功倍的效果,本文将详细介绍四种在Java中调用Python的方法,并推荐一种最常用且实用的方法,希望对大家有... 目录一、在Java类中直接执行python语句二、在Java中直接调用Python脚本三、使用Run

使用Python开发Markdown兼容公式格式转换工具

《使用Python开发Markdown兼容公式格式转换工具》在技术写作中我们经常遇到公式格式问题,例如MathML无法显示,LaTeX格式错乱等,所以本文我们将使用Python开发Markdown兼容... 目录一、工具背景二、环境配置(Windows 10/11)1. 创建conda环境2. 获取XSLT

Python如何调用指定路径的模块

《Python如何调用指定路径的模块》要在Python中调用指定路径的模块,可以使用sys.path.append,importlib.util.spec_from_file_location和exe... 目录一、sys.path.append() 方法1. 方法简介2. 使用示例3. 注意事项二、imp

PyQt5+Python-docx实现一键生成测试报告

《PyQt5+Python-docx实现一键生成测试报告》作为一名测试工程师,你是否经历过手动填写测试报告的痛苦,本文将用Python的PyQt5和python-docx库,打造一款测试报告一键生成工... 目录引言工具功能亮点工具设计思路1. 界面设计:PyQt5实现数据输入2. 文档生成:python-