股票指数信息采集

2023-10-30 08:10
文章标签 采集 信息 股票指数

本文主要是介绍股票指数信息采集,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

中证指数有限公司数据采集

直接上代码

__author__ = 'Luzaofa'
__date__ = '2019/4/25 21:18'import re
import time
import requests
import logging
import configparser
import pandas as pd
from requests.exceptions import RequestExceptionclass Config(object):'''解析配置文件'''def get_config(self, lable, value):cf = configparser.ConfigParser()cf.read("CONFIG.conf")config_value = cf.get(lable, value)return config_valueclass Spider(Config):def __init__(self):self.url = 'http://www.csindex.com.cn/zh-CN/indices/index?page={page}&page_size=5000&by=asc&order=%E5%8F%91%E5%B8%83%E6%97%B6%E9%97%B4&data_type=json&class_2=2'self.type = '_0.CNSHS'def log(self, fileName, mass):'''日志'''logging.basicConfig(filename=fileName, format='%(asctime)s - %(levelname)s - %(message)s', level=logging.INFO)logging.info(mass)def get_response(self, url):'''给出url,获取网页响应'''try:response = requests.get(url)response.encoding = 'unicode-escape'return response.textexcept RequestException:return Nonedef get_list_value(self, response):'''利用正则匹配,发送请求,获取整页源代码'''pattern = re.compile(r'index_code":"(.*?)",.*?indx_sname.*?".*?"(.*?)",.*?\}', re.S)item = pattern.findall(response)return itemdef logic(self, args):'''业务逻辑(单个任务逻辑模块)'''all_index = []for page in range(1, 7):url = self.url.format(page=page)response = self.get_response(url)values = self.get_list_value(response)for value in values:# all_index.append([value[1], value[0]])    # 简称,代码all_index.append(['%s%s' % ((value[0]), self.type)])  # 代码_0.CNSHSprint('正在采集第:%s页,一共:%s条数据' % (page, len(values)))print(all_index)print(len(all_index))df = pd.DataFrame(all_index)df.to_csv('sh.csv', index=False, header=None)def main(self):'''主入口:return:'''start = time.time()pros = [1]  # 任务池self.logic(pros)  # 普通处理end = time.time()print('业务处理总耗时:%s 秒!' % (end - start))if __name__ == '__main__':print('Start!')demo = Spider()demo.main()  # 普通print('END')
效果图如下:

采集详情
在这里插入图片描述
在这里插入图片描述

最近很忙,代码就不做解释了,晚上朋友们!

这篇关于股票指数信息采集的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/306592

相关文章

Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法

《Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法》在Linux系统中,管理磁盘设备和分区是日常运维工作的重要部分,而lsblk命令是一个强大的工具,它用于列出系统中的块设备(blockde... 目录1. 查看所有磁盘的物理信息方法 1:使用 lsblk(推荐)方法 2:使用 fdisk -l(

SpringBoot如何对密码等敏感信息进行脱敏处理

《SpringBoot如何对密码等敏感信息进行脱敏处理》这篇文章主要为大家详细介绍了SpringBoot对密码等敏感信息进行脱敏处理的几个常用方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录​1. 配置文件敏感信息脱敏​​2. 日志脱敏​​3. API响应脱敏​​4. 其他注意事项​​总结

springboot实现配置文件关键信息加解密

《springboot实现配置文件关键信息加解密》在项目配置文件中常常会配置如数据库连接信息,redis连接信息等,连接密码明文配置在配置文件中会很不安全,所以本文就来聊聊如何使用springboot... 目录前言方案实践1、第一种方案2、第二种方案前言在项目配置文件中常常会配置如数据库连接信息、Red

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

Python如何获取域名的SSL证书信息和到期时间

《Python如何获取域名的SSL证书信息和到期时间》在当今互联网时代,SSL证书的重要性不言而喻,它不仅为用户提供了安全的连接,还能提高网站的搜索引擎排名,那我们怎么才能通过Python获取域名的S... 目录了解SSL证书的基本概念使用python库来抓取SSL证书信息安装必要的库编写获取SSL证书信息

Win32下C++实现快速获取硬盘分区信息

《Win32下C++实现快速获取硬盘分区信息》这篇文章主要为大家详细介绍了Win32下C++如何实现快速获取硬盘分区信息,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 实现代码CDiskDriveUtils.h#pragma once #include <wtypesbase

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形