上市公司年报爬取(其他公告同理)---仅供学习使用

2023-10-23 22:10

本文主要是介绍上市公司年报爬取(其他公告同理)---仅供学习使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

声明:本程序不存在任何恶意攻击意图,仅供学习练习使用

感谢巨潮资讯提供的信息:http://www.cninfo.com.cn/
教程开始

1. 环境

使用 pip安装 request 1.0.117
模块 os、json、time模块均为python自带环境 Python 3.8.12
代码

2. List item

import os
import requests
import json
import timeprint("年报爬取,股票代码,开始时间、结束时间\n退出程序在输入股票代码处输入exit退出\n一次最多100条")url = "http://www.cninfo.com.cn/new/hisAnnouncement/query"headers = {"Accept": "application/json, text/javascript, */*; q=0.01","Accept-Encoding": "gzip, deflate","Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6","Connection": "keep-alive","Content-Type": "application/x-www-form-urlencoded; charset=UTF-8","Host": "www.cninfo.com.cn","Origin": "http://www.cninfo.com.cn","Referer": "http://www.cninfo.com.cn/new/disclosure/stock?stockCode=000501&orgId=gssz0000501","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39","X-Requested-With": "XMLHttpRequest"
}
while True:number = str(input("请输入代号:"))if number.__eq__("exit"):print("退出程序")breakbegin = str(input("请输入开始年份:")) + "-01-01~"end = str(input("请输入结束年份:")) + "-12-31"data = {"stock": number + ",gssz0" + number,"tabName": "fulltext","pageSize": 100,"pageNum": 1,"column": "szse","category": "category_ndbg_szsh;","plate": "sz","seDate": begin + end,"searchkey": "","secid": "","sortName": "","sortType": "","isHLtitle": "true"}print(data)res = requests.post(url, data)content = res.contentdjson = json.loads(content)if not os.path.exists("./pdf/" + number):os.mkdir("./pdf/" + number)if djson.get("announcements") is None:print("你查找的股票在该范围内无公告,请检查股票编号和时间范围")else:for j in djson.get("announcements"):url = str(j.get("adjunctUrl"))name = j.get("announcementTitle")url = "http://www.cninfo.com.cn/new/announcement/download?" \+ "bulletinId=" + url[21:-4] + "&announceTime=" + url[10:20]print(name + ":\t" + url)response = requests.get(url)content = response.contentfile = open("./pdf/" + number + "/" + name + ".pdf", "wb+")file.write(content)file.close()# time.sleep(1)  # 防止被屏蔽print(number + "任务完成")

结果图
在这里插入图片描述

这篇关于上市公司年报爬取(其他公告同理)---仅供学习使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/270761

相关文章

详解SpringBoot+Ehcache使用示例

《详解SpringBoot+Ehcache使用示例》本文介绍了SpringBoot中配置Ehcache、自定义get/set方式,并实际使用缓存的过程,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录摘要概念内存与磁盘持久化存储:配置灵活性:编码示例引入依赖:配置ehcache.XML文件:配置

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程?1.2 为什么需要虚拟线程?二、虚拟线程与平台线程对比代码对比示例:三

k8s按需创建PV和使用PVC详解

《k8s按需创建PV和使用PVC详解》Kubernetes中,PV和PVC用于管理持久存储,StorageClass实现动态PV分配,PVC声明存储需求并绑定PV,通过kubectl验证状态,注意回收... 目录1.按需创建 PV(使用 StorageClass)创建 StorageClass2.创建 PV

Redis 基本数据类型和使用详解

《Redis基本数据类型和使用详解》String是Redis最基本的数据类型,一个键对应一个值,它的功能十分强大,可以存储字符串、整数、浮点数等多种数据格式,本文给大家介绍Redis基本数据类型和... 目录一、Redis 入门介绍二、Redis 的五大基本数据类型2.1 String 类型2.2 Hash

Redis中Hash从使用过程到原理说明

《Redis中Hash从使用过程到原理说明》RedisHash结构用于存储字段-值对,适合对象数据,支持HSET、HGET等命令,采用ziplist或hashtable编码,通过渐进式rehash优化... 目录一、开篇:Hash就像超市的货架二、Hash的基本使用1. 常用命令示例2. Java操作示例三

Linux创建服务使用systemctl管理详解

《Linux创建服务使用systemctl管理详解》文章指导在Linux中创建systemd服务,设置文件权限为所有者读写、其他只读,重新加载配置,启动服务并检查状态,确保服务正常运行,关键步骤包括权... 目录创建服务 /usr/lib/systemd/system/设置服务文件权限:所有者读写js,其他

Redis中Set结构使用过程与原理说明

《Redis中Set结构使用过程与原理说明》本文解析了RedisSet数据结构,涵盖其基本操作(如添加、查找)、集合运算(交并差)、底层实现(intset与hashtable自动切换机制)、典型应用场... 目录开篇:从购物车到Redis Set一、Redis Set的基本操作1.1 编程常用命令1.2 集

Redis中的有序集合zset从使用到原理分析

《Redis中的有序集合zset从使用到原理分析》Redis有序集合(zset)是字符串与分值的有序映射,通过跳跃表和哈希表结合实现高效有序性管理,适用于排行榜、延迟队列等场景,其时间复杂度低,内存占... 目录开篇:排行榜背后的秘密一、zset的基本使用1.1 常用命令1.2 Java客户端示例二、zse

mysql8.0.43使用InnoDB Cluster配置主从复制

《mysql8.0.43使用InnoDBCluster配置主从复制》本文主要介绍了mysql8.0.43使用InnoDBCluster配置主从复制,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录1、配置Hosts解析(所有服务器都要执行)2、安装mysql shell(所有服务器都要执行)3、

Vue3视频播放组件 vue3-video-play使用方式

《Vue3视频播放组件vue3-video-play使用方式》vue3-video-play是Vue3的视频播放组件,基于原生video标签开发,支持MP4和HLS流,提供全局/局部引入方式,可监听... 目录一、安装二、全局引入三、局部引入四、基本使用五、事件监听六、播放 HLS 流七、更多功能总结在 v