爬虫案例5——爬取东方财富网的港股数据

2024-08-22 12:12
文章标签 数据 爬虫 案例 爬取 东方 港股 财富网

本文主要是介绍爬虫案例5——爬取东方财富网的港股数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简介：个人学习分享，如有错误，欢迎批评指正

任务：从东方财富网中爬取港股的代码，名称，最近价格，涨跌幅，今开，最高等数据

目标网页地址：https://data.eastmoney.com/bbsj/yjbb/603112.htmll

一、思路和过程

目标网页具体内容如下图：
​​​​
图1

我们的任务是将上图中港股的代码，名称，最近价格，涨跌幅，今开，最高等数据爬取下来。

1.URL和User-Agent的确定

1.1. URL确定
在这里插入图片描述

东方财富网具有一定的反爬程序，具体分析如下：
如上图，当我们切换上图框2中的页码时，上图框2里面url地址并没有变化，也就是说上图框1的URL地址作为我们的目标URL时，将得不到我们想要的图中间部分内容（代码，名称，最近价格等信息）。

怎么解决：
在这里插入图片描述
如上图，鼠标右键选择检查，进入源代码操作页面，点击框2的元素，然后点击右边的框3的三个点，选择框4的搜索，在框5中搜索框1的股票代码，框6为搜索的结果。

在这里插入图片描述

如上图，点击刚才的搜索结果框1，上面源代码部分会对框1的内容进行一个格式化展示，可以看到刚才搜索的股票代码在框2中有了一个呈现，在框2旁边的空白处点击鼠标右键，复制框3的链接地址，该地址就是包含我们想要的股票信息的正确URL地址。

1.2.User-Agent确定
由于网页普遍具有反爬程序，不加修饰的直接访问网页可能会失败，所以第一步学会伪装自己。
如何伪装自己呢，可以通过找到正常访问网页时的访问状态，将自己的这次爬虫模拟成一次正常访问网页，因此我们的目标是找到正常访问网页时的User-Agent。User Agent中文名为用户代理，(简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等)。User-Agent就是你访问网页的身份证明。具体操作如下：

如下图，首先打开目标（或任意）网页，然后点击鼠标右键后选择检查打开网页的HTML 页面。
在这里插入图片描述

如下图，在HTML 页面里面依次点击网络，然后任意点一条网络请求（如果没有显示任何网络请求可以点击网页左上角的刷新），然后选择标头，下拉列表找到User-Agent，User-Agent后面那段内容就是我们用来伪装自己的身份码。

在这里插入图片描述

2.发送GET请求获取网页内容

通过上面的步骤我们获得了
url = ‘https://34.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112406894991919602407_1720001154034&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:128+t:3,m:128+t:4,m:128+t:1,m:128+t:2&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f19,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152&_=1720001154170’

User-Agent:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0’

接下来发起网页访问请求，代码如下：

import requests  # 引入requests库，用于发送HTTP请求
import jsonpath  # 引入jsonpath库，用于解析JSON数据
import json  # 引入json库，用于处理JSON数据
import re  # 引入re库，用于使用正则表达式
import math  # 引入math库，用于数学计算
import csv  # 引入csv库，用于CSV文件读写# 定义目标URL，获取股票数据的API接口地址
url = 'https://34.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112406894991919602407_1720001154034&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:128+t:3,m:128+t:4,m:128+t:1,m:128+t:2&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f19,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152&_=1720001154170'# 定义HTTP请求头，其中包括User-Agent信息，用于伪装成浏览器进行访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50'
}# 发送GET请求获取网页内容，并将响应内容解码为字符串格式
data = requests.get(url, headers=headers).content.decode()
print(data)

下图查看print结果，我们发现成功获得了网页相关的html表达，

在这里插入图片描述

3.分析网页内容

接下来对html进行解析获得我们目标内容。
这里，我们需要借助工具json.cn来辅助内容解析，

找到目标内容方法
首先，对刚才得到的结果，使用正则表达式从响应内容中提取出JSON数据，红框为解析后的数据。

# 使用正则表达式从响应内容中提取出JSON数据，'{"rc":.*}]}}'表示匹配以{"rc":开头，后面跟着任意字符，再后面跟着"}]"的字符串
json_data = re.findall('{"rc":.*}]}}', data)[0]
print(json_data)  # 打印提取出的JSON数据，检查内容是否正确

在这里插入图片描述

明确目标内容的位置。将上一步得到的JSON数据复制到json.cn中进行格式化

在这里插入图片描述

通过json.cn的可视化，我们可以清晰的看到f1、f2、f3等序号，而与之对应的则是我们需要的港股的代码，名称，最近价格，涨跌幅，今开等数据。

但是，我们发现上面只能取到单页的内容，而如下图整个网页有很多页。
在这里插入图片描述

对于上述问题，我们通过对比不同页面提取的URL，发现url地址不同的页码的url仅仅换了"pn="后面的数字，数字即对应页码。
在这里插入图片描述
首先，获取总页数，总页数在刚才获取的json格式结果中有，因此使用如下代码获取：

# 使用jsonpath从JSON数据中提取出总记录数，$..total表示从根节点开始，取出total字段的值
total = jsonpath.jsonpath(json_data, '$..total')[0]
print(json_data)  # 打印JSON数据，检查内容
print(total)  # 打印总记录数# 计算总页数，每页20条数据
page = math.ceil(total / 20)
print(page)  # 打印总页数

其次，进一步添加一个for循环来取得所有页的url地址，代码如下：

   for i in range(1, page + 1):# 构建每一页的URLnew_url = 'https://34.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112406894991919602407_1720001154034&pn={}&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:128+t:3,m:128+t:4,m:128+t:1,m:128+t:2&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f19,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152&_=1720001154170'.format(i)# 发送GET请求获取当前页码的网页内容，并将响应内容解码为字符串格式data = requests.get(new_url, headers=headers).content.decode()j += 1  # 更新页数计数器print('第{}页已保存'.format(j))  # 打印当前页数已保存

4.获取目标数据

上一步得到了目标数据的地址，接下来就是分别获得到目标数据，代码如下：

 # 使用正则表达式从响应内容中提取出JSON数据new_json_data = re.findall('{"rc":.*}]}}', data)[0]# 将JSON数据字符串转换为Python字典对象json_data = json.loads(new_json_data)# 依次使用jsonpath从JSON数据中提取出代码、名称、最新价、涨跌幅、今开、最高、最低、昨收、成交量、成交额等数据code = jsonpath.jsonpath(json_data, '$..f12')  # 代码name = jsonpath.jsonpath(json_data, '$..f14')  # 名称new_price = jsonpath.jsonpath(json_data, '$..f2')  # 最新价up_and_down = jsonpath.jsonpath(json_data, '$..f4')  # 涨跌幅today = jsonpath.jsonpath(json_data, '$..f17')  # 今开highest = jsonpath.jsonpath(json_data, '$..f15')  # 最高minimum = jsonpath.jsonpath(json_data, '$..f16')  # 最低yesterday = jsonpath.jsonpath(json_data, '$..f18')  # 昨收volume = jsonpath.jsonpath(json_data, '$..f5')  # 成交量（股）turnover = jsonpath.jsonpath(json_data, '$..f6')  # 成交额（港元）

5.保存数据

首先创建一个csv文件。


with open('港股.csv', 'a+', newline='', encoding='utf-8-sig') as f:writer = csv.writer(f)# 写入CSV文件的表头writer.writerow(['代码', '名称', '最新价', '涨跌幅', '今开', '最高', '最低', '昨收', '成交量(股)', '成交额(港元)'])j = 0  # 初始化页数计数器

其次，对得到的数据进行清洗和写入csv文件

# 数据清洗和写入CSV文件
for i, code in enumerate(code):try:# 检查数据是否为空（即8个字段是否都为'-'）res = new_price[i] + up_and_down[i] + today[i] + highest[i] + minimum[i] + yesterday[i] + volume[i] + \turnover[i]if res == '-' * 8:continue  # 如果数据为空，则跳过该条记录# 将提取到的数据写入CSV文件writer.writerow([code, name[i], new_price[i], up_and_down[i], today[i], highest[i], minimum[i], yesterday[i],volume[i], turnover[i]])except:continue  # 如果发生异常，跳过该条记录

二、完整python代码

import requests  # 引入requests库，用于发送HTTP请求
import jsonpath  # 引入jsonpath库，用于解析JSON数据
import json  # 引入json库，用于处理JSON数据
import re  # 引入re库，用于使用正则表达式
import math  # 引入math库，用于数学计算
import csv  # 引入csv库，用于CSV文件读写# 定义目标URL，获取股票数据的API接口地址
url = 'https://34.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112406894991919602407_1720001154034&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:128+t:3,m:128+t:4,m:128+t:1,m:128+t:2&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f19,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152&_=1720001154170'# 定义HTTP请求头，其中包括User-Agent信息，用于伪装成浏览器进行访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50'
}# 发送GET请求获取网页内容，并将响应内容解码为字符串格式
data = requests.get(url, headers=headers).content.decode()
print(data)
# 使用正则表达式从响应内容中提取出JSON数据，'{"rc":.*}]}}'表示匹配以{"rc":开头，后面跟着任意字符，再后面跟着"}]"的字符串
json_data = re.findall('{"rc":.*}]}}', data)[0]
print(json_data)  # 打印提取出的JSON数据，检查内容是否正确# 将JSON数据字符串转换为Python字典对象
json_data = json.loads(json_data)# 使用jsonpath从JSON数据中提取出总记录数，$..total表示从根节点开始，取出total字段的值
total = jsonpath.jsonpath(json_data, '$..total')[0]
print(json_data)  # 打印JSON数据，检查内容
print(total)  # 打印总记录数# 计算总页数，每页20条数据
page = math.ceil(total / 20)
print(page)  # 打印总页数# 打开一个CSV文件，准备写入数据。 a+
with open('港股.csv', 'a+', newline='', encoding='utf-8-sig') as f:writer = csv.writer(f)# 写入CSV文件的表头writer.writerow(['代码', '名称', '最新价', '涨跌幅', '今开', '最高', '最低', '昨收', '成交量(股)', '成交额(港元)'])j = 0  # 初始化页数计数器# 遍历所有页码for i in range(1, page + 1):# 构建每一页的URLnew_url = 'https://34.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112406894991919602407_1720001154034&pn={}&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:128+t:3,m:128+t:4,m:128+t:1,m:128+t:2&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f19,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152&_=1720001154170'.format(i)# 发送GET请求获取当前页码的网页内容，并将响应内容解码为字符串格式data = requests.get(new_url, headers=headers).content.decode()j += 1  # 更新页数计数器print('第{}页已保存'.format(j))  # 打印当前页数已保存# 使用正则表达式从响应内容中提取出JSON数据new_json_data = re.findall('{"rc":.*}]}}', data)[0]# 将JSON数据字符串转换为Python字典对象json_data = json.loads(new_json_data)# 依次使用jsonpath从JSON数据中提取出代码、名称、最新价、涨跌幅、今开、最高、最低、昨收、成交量、成交额等数据code = jsonpath.jsonpath(json_data, '$..f12')  # 代码name = jsonpath.jsonpath(json_data, '$..f14')  # 名称new_price = jsonpath.jsonpath(json_data, '$..f2')  # 最新价up_and_down = jsonpath.jsonpath(json_data, '$..f4')  # 涨跌幅today = jsonpath.jsonpath(json_data, '$..f17')  # 今开highest = jsonpath.jsonpath(json_data, '$..f15')  # 最高minimum = jsonpath.jsonpath(json_data, '$..f16')  # 最低yesterday = jsonpath.jsonpath(json_data, '$..f18')  # 昨收volume = jsonpath.jsonpath(json_data, '$..f5')  # 成交量（股）turnover = jsonpath.jsonpath(json_data, '$..f6')  # 成交额（港元）# 数据清洗和写入CSV文件for i, code in enumerate(code):try:# 检查数据是否为空（即8个字段是否都为'-'）res = new_price[i] + up_and_down[i] + today[i] + highest[i] + minimum[i] + yesterday[i] + volume[i] + \turnover[i]if res == '-' * 8:continue  # 如果数据为空，则跳过该条记录# 将提取到的数据写入CSV文件writer.writerow([code, name[i], new_price[i], up_and_down[i], today[i], highest[i], minimum[i], yesterday[i],volume[i], turnover[i]])except:continue  # 如果发生异常，跳过该条记录

结~~~

这篇关于爬虫案例5——爬取东方财富网的港股数据的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1096236。

相关文章

Linux下利用select实现串口数据读取过程

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码（使用select实现）代码解释总结在 linux 系统里，我们可以借助 select、
阅读更多...
Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题

Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题

《Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题》在爬虫工程里,“HTTPS”是绕不开的话题,HTTPS为传输加密提供保护,同时也给爬虫带来证书校验、... 目录一、核心问题与优先级检查（先问三件事）二、基础示例：requests 与证书处理三、高并发选型：
阅读更多...
Java中的分布式系统开发基于 Zookeeper 与 Dubbo 的应用案例解析

Java中的分布式系统开发基于 Zookeeper 与 Dubbo 的应用案例解析

《Java中的分布式系统开发基于Zookeeper与Dubbo的应用案例解析》本文将通过实际案例,带你走进基于Zookeeper与Dubbo的分布式系统开发,本文通过实例代码给大家介绍的非常详... 目录Java 中的分布式系统开发基于 Zookeeper 与 Dubbo 的应用案例一、分布式系统中的挑战二
阅读更多...
C#使用iText获取PDF的trailer数据的代码示例

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程
阅读更多...
Pandas处理缺失数据的方式汇总

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN：缺失的数值数据Panda
阅读更多...
C++中处理文本数据char与string的终极对比指南

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,：本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别
阅读更多...
Java 中的 equals 和 hashCode 方法关系与正确重写实践案例

Java 中的 equals 和 hashCode 方法关系与正确重写实践案例

《Java中的equals和hashCode方法关系与正确重写实践案例》在Java中,equals和hashCode方法是Object类的核心方法,广泛用于对象比较和哈希集合（如HashMa... 目录一、背景与需求分析1.1 equals 和 hashCode 的背景1.2 需求分析1.3 技术挑战1.4
阅读更多...
Java中实现对象的拷贝案例讲解

Java中实现对象的拷贝案例讲解

《Java中实现对象的拷贝案例讲解》Java对象拷贝分为浅拷贝（复制值及引用地址）和深拷贝（递归复制所有引用对象）,常用方法包括Object.clone()、序列化及JSON转换,需处理循环引用问题,... 目录对象的拷贝简介浅拷贝和深拷贝浅拷贝深拷贝深拷贝和循环引用总结对象的拷贝简介对象的拷贝，把一个
阅读更多...
python库pydantic数据验证和设置管理库的用途

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途：Field数值验证参数总结pydantic 是一个让你能够 confidentl
阅读更多...
Java中最全最基础的IO流概述和简介案例分析

Java中最全最基础的IO流概述和简介案例分析

《Java中最全最基础的IO流概述和简介案例分析》JavaIO流用于程序与外部设备的数据交互,分为字节流（InputStream/OutputStream）和字符流（Reader/Writer）,处理... 目录IO流简介IO是什么应用场景IO流的分类流的超类类型字节文件流应用简介核心API文件输出流应用文
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2