如何用Python爬取创业板历史+实时股票数据!

2024-03-25 19:59

本文主要是介绍如何用Python爬取创业板历史+实时股票数据!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

(永久免费,扫码加入)

本文章是付费阅读,已经购买小册的同学,可以不用看。

我的小册:小白零基础用Python量化股票分析小册

股票的实时数据,历史数据有很多方法可以获取,比如我们可以通过爬虫从东方财富网,新浪财经,或者是券商的qmt软件获取,也可以通过一些专业的第三方的库取获得,只是有一些库是需要收费的,最廉价的方式就是通过爬取获得,我们以爬取创业板股票为例子,进行演示。

1.股票的网站接口分析

1).打开东方财富网的网站,建议用谷歌浏览器打开

6daf8622d1dda88b798697ecc88246e0.png

可以看到很多创业板的股票数据,而且是实时的数据,我们选一个股票进行分析,比如第一个300001 ,点击打开它的数据。

8fce8c77c1a3682189f36b2c66637ccb.png

随便找一个空白的地方,点击右键,选择检查,进入网页分析页面。可以发现我们不停的刷新页面,网页的内容有变化,但是网页的url完全不变,也就是说该网站采用了Ajax技术,是动态的从服务器上拉数据的。

稍微科普一下啥叫Ajax技术,传统的网页请求是同步的,即用户每次操作(如点击链接、提交表单)时,整个页面都会重新加载或跳转。Ajax 的核心是 JavaScript 的 XMLHttpRequest 对象,它允许网页在不重新加载整个页面的情况下与服务器交换数据并更新部分网页内容。这意味着可以在网页已经被用户加载之后异步地从服务器请求新的数据或提交数据。

这样做的好处,可以局部更新,减轻网络的负担,加快页面加载速度。

c6706bbd9778629249e4c1754478bcc4.png

打开Network 然后刷新网页,找到get?cb 这样的请求的网页的链接,点开看右边部分,有一个Header 看到里面请求的url,这个我们要找的链接,把它copy出来。

这么一长串的代码,里面都是复杂的字符,我们看到有一个30001 这个股票代码,其实这个就是我们请求的创业板股票的代码,我们如果要获取多只股票的数据,只要替换这里即可。

然后检查一下response里面的k线数据,点右边的Response就可以看到具体的data数据信息。

33ca818637a7dc6374915dcce056a1d4.png

这个jQuery 里面data部分就是我们要的数据。

2.股票数据爬取

上面我们已经找到了最关键的url ,下面就可以开始爬取了,目前东财还是非常友善的,我们不需要伪装headers, 可以直接爬取。

第一步先解析网页

假如我们要爬取的股票代码从0-1 ,也就是300000-300001,因为创业板默认都是30开头的,目前1600多家,我们先爬取一家:

这篇关于如何用Python爬取创业板历史+实时股票数据!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/846100

相关文章

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

Python中help()和dir()函数的使用

《Python中help()和dir()函数的使用》我们经常需要查看某个对象(如模块、类、函数等)的属性和方法,Python提供了两个内置函数help()和dir(),它们可以帮助我们快速了解代... 目录1. 引言2. help() 函数2.1 作用2.2 使用方法2.3 示例(1) 查看内置函数的帮助(

Python虚拟环境与Conda使用指南分享

《Python虚拟环境与Conda使用指南分享》:本文主要介绍Python虚拟环境与Conda使用指南,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、python 虚拟环境概述1.1 什么是虚拟环境1.2 为什么需要虚拟环境二、Python 内置的虚拟环境工具

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,:本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部

Python pip下载包及所有依赖到指定文件夹的步骤说明

《Pythonpip下载包及所有依赖到指定文件夹的步骤说明》为了方便开发和部署,我们常常需要将Python项目所依赖的第三方包导出到本地文件夹中,:本文主要介绍Pythonpip下载包及所有依... 目录步骤说明命令格式示例参数说明离线安装方法注意事项总结要使用pip下载包及其所有依赖到指定文件夹,请按照以

Python实现精准提取 PDF中的文本,表格与图片

《Python实现精准提取PDF中的文本,表格与图片》在实际的系统开发中,处理PDF文件不仅限于读取整页文本,还有提取文档中的表格数据,图片或特定区域的内容,下面我们来看看如何使用Python实... 目录安装 python 库提取 PDF 文本内容:获取整页文本与指定区域内容获取页面上的所有文本内容获取

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

Python包管理工具核心指令uvx举例详细解析

《Python包管理工具核心指令uvx举例详细解析》:本文主要介绍Python包管理工具核心指令uvx的相关资料,uvx是uv工具链中用于临时运行Python命令行工具的高效执行器,依托Rust实... 目录一、uvx 的定位与核心功能二、uvx 的典型应用场景三、uvx 与传统工具对比四、uvx 的技术实

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

python判断文件是否存在常用的几种方式

《python判断文件是否存在常用的几种方式》在Python中我们在读写文件之前,首先要做的事情就是判断文件是否存在,否则很容易发生错误的情况,:本文主要介绍python判断文件是否存在常用的几种... 目录1. 使用 os.path.exists()2. 使用 os.path.isfile()3. 使用