爬虫入门到精通_实战篇7(Requests+正则表达式爬取猫眼电影)_ 抓取单页内容,正则表达式分析,保存至文件,开启循环及多线程

本文主要是介绍爬虫入门到精通_实战篇7(Requests+正则表达式爬取猫眼电影)_ 抓取单页内容,正则表达式分析,保存至文件,开启循环及多线程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 目标

猫眼榜单TOP100:https://www.maoyan.com/board
在这里插入图片描述

2 流程框架

  1. 抓取单页内容:利用requests请求目标站点,得到单个网页HTML代码,返回结果。
  2. 正则表达式分析:根据HTML代码分析得到电影名称,主演,上映时间,评分,图片链接等信息。
  3. 保存至文件:通过文件的形式将结果保存,每一步电影一个结果一行json字符串。
  4. 开启循环及多线程:对多页内容遍历,开启多线程提高抓取速度。

3 实战

1.抓取单页内容

import requests
from requests.exceptions import RequestException# 提取单页内容,用try,except防止挂机
def get_one_page(url):try:response = requests.get(url)if response.status_code == 200:#如果状态码为200,请求成功return  response.textreturn response.status_code  #请求失败,返回状态码结果except RequestException:return  Nonedef main():url = "https://www.maoyan.com/board/4"html = get_one_page(url)print(html)
if __name__ == '__main__':main()

url路径:下图可知:第一页offset = 0,第二页offset=10
在这里插入图片描述

respnse查看内容:Network 选项->筛选Doc
在这里插入图片描述
返回:
在这里插入图片描述
如果报了403状态码:
请求是加上headers

headers = {'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4)AppleWebKit/537.36(KHTML,like Gecko)Chrome/52.0.2743.116 Safari/537.36'}
#提取单页内容,用try,except方便找bug
def get_one_page(url):try:response = requests.get(url, headers=headers)#传入headers参数if response.status_code == 200:return response.textreturn response.status_codeexcept RequestException:return None

2 正则表达式分析

根据HTML代码分析得到电影名称,主演,上映时间,评分,图片链接等信息。
HTML的结构:
在这里插入图片描述
红色箭头是需要提取的信息,正则表达式如下:

def parse_one_page(html):# 生成一个正则表达式对象pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'  # 此处换行+ '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'+ '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)items = re.findall(pattern,html)# items是一个list,提取信息成字典形式for item in items:yield { # 构造一个字典'index': item[0],'image':item[1],'title':item[2],'actor':item[3].strip()[3:],#做切片,去掉“主演:“这3个字符'time':item[4].strip()[5:],'score':item[5]+item[6] #将小数点前后的数字拼接起来}return itemsdef main():url = "https://www.maoyan.com/board/4"html = get_one_page(url)for item in parse_one_page(html):print(item)

效果如下:
在这里插入图片描述

3 保存至文件

def write_to_file(content):with open('result.txt','a',encoding='utf-8') as f:f.write(json.dumps(content, ensure_ascii=False) + '\n')  # 不允许写入ascii码f.close()def main():url = "https://www.maoyan.com/board/4"html = get_one_page(url)for item in parse_one_page(html):print(item)write_to_file(item)

效果如下:
在这里插入图片描述

4 开启循环及多线程

方式一:

def main(offset):url = "https://www.maoyan.com/board/4?offset="+str(offset)html = get_one_page(url)for item in parse_one_page(html):print(item)write_to_file(item)if __name__ == '__main__':for i in range(10):main(i*10)

方式二:

from multiprocessing import Pool
if __name__ == '__main__':pool = Pool() #创建一个进程池pool.map(main,[i*10 for i in range(10)])

4 整体代码

import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import Poolheaders = {'User-Agent': 'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4)AppleWebKit/537.36(KHTML,like Gecko)Chrome/52.0.2743.116 Safari/537.36'}# 提取单页内容,用try,except方便找bug
def get_one_page(url):try:response = requests.get(url, headers=headers)  # 传入headers参数if response.status_code == 200:return response.textreturn response.status_codeexcept RequestException:  # 捕获这个类型的异常return Nonedef parse_one_page(html):  # 定义一个函数用来解析html代码# 生成一个正则表达式对象pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'  # 此处换行+ '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'+ '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)items = re.findall(pattern, html)# items是一个list,其中的每个内容都是一个元组# 将杂乱的信息提取并格式化,变成一个字典形式for item in items:yield {  # 构造一个字典'index': item[0],# 'image': item[1],'title': item[2],'actor': item[3].strip()[3:],  # 做一个切片,去掉“主演:”这3个字符'time': item[4].strip()[5:],  # 做一个切片,去掉“上映时间:”这5个字符'score': item[5] + item[6]  # 将小数点前后的数字拼接起来}def write_to_file(content):with open('result.txt', 'a', encoding='utf-8') as f:# a表示模式是“追加”;采用utf-8编码可以正常写入汉字f.write(json.dumps(content, ensure_ascii=False) + '\n')  # 不允许写入ascii码# content是一个字典,我们需要转换成字符串形式,注意导入json库f.close()def main(offset):url = 'https://maoyan.com/board/4?offset=' + str(offset)  # 把offset参数以字符串形式添加到url中html = get_one_page(url)for item in parse_one_page(html):  # item是一个生成器print(item)write_to_file(item)if __name__ == '__main__':pool = Pool()  # 创建一个进程池pool.map(main, [i * 10 for i in range(10)])  # map方法创建进程(不同参数的main),并放到进程池中

在这里插入图片描述

这篇关于爬虫入门到精通_实战篇7(Requests+正则表达式爬取猫眼电影)_ 抓取单页内容,正则表达式分析,保存至文件,开启循环及多线程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/766302

相关文章

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

Javaee多线程之进程和线程之间的区别和联系(最新整理)

《Javaee多线程之进程和线程之间的区别和联系(最新整理)》进程是资源分配单位,线程是调度执行单位,共享资源更高效,创建线程五种方式:继承Thread、Runnable接口、匿名类、lambda,r... 目录进程和线程进程线程进程和线程的区别创建线程的五种写法继承Thread,重写run实现Runnab

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

JavaSE正则表达式用法总结大全

《JavaSE正则表达式用法总结大全》正则表达式就是由一些特定的字符组成,代表的是一个规则,:本文主要介绍JavaSE正则表达式用法的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录常用的正则表达式匹配符正则表China编程达式常用的类Pattern类Matcher类PatternSynta

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

从入门到精通C++11 <chrono> 库特性

《从入门到精通C++11<chrono>库特性》chrono库是C++11中一个非常强大和实用的库,它为时间处理提供了丰富的功能和类型安全的接口,通过本文的介绍,我们了解了chrono库的基本概念... 目录一、引言1.1 为什么需要<chrono>库1.2<chrono>库的基本概念二、时间段(Durat

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景