获取知网摘要与PDF文件

2024-09-03 12:32
文章标签 pdf 获取 摘要 知网

本文主要是介绍获取知网摘要与PDF文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

进入知网网址:http://www.cnki.net/
搜索知网关键词,例如离在岸人民币
在这里插入图片描述
顺序获取各文章题目和摘要,并优先进行PDF下载,如果没有PDF就进行CAJ下载,信息保存在items列表里。
在这里插入图片描述
下面为实现代码

# -*- coding: utf-8 -*-
"""
Created on Sun May 12 10:28:10 2019@author: Administrator
"""from selenium.webdriver.chrome.options import Options
from selenium import webdriver
import time
import sys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECclass Item(object):title = None    #更:论文名value = None   #更:数据内容def zhi(keyword='quantile',num=10,show=True,url='http://www.cnki.net/',download=False):#keyword为关键词,num为爬取页数,show为是否可视chrome_options = Options()chrome_options.add_argument('--no-sandbox')#解决DevToolsActivePort文件不存在的报错chrome_options._arguments = ['disable-infobars']#去掉谷歌浏览器正在被自动测试控制字样chrome_options.add_argument('window-size=1920x3000') #指定浏览器分辨率chrome_options.add_argument('--disable-gpu') #谷歌文档提到需要加上这个属性来规避bugchrome_options.add_argument('--hide-scrollbars') #隐藏滚动条, 应对一些特殊页面chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加载图片, 提升速度
# =============================================================================
#     #改变下载路径
#     prefs = {"download.default_directory": r'C:\Users\Administrator\Desktop'}
#     chrome_options.add_experimental_option("prefs", prefs)
# =============================================================================##加载用户信息的谷歌浏览器chrome_options.add_argument("--user-data-dir="+r"C:\Users\Administrator\AppData\Local\Google\Chrome\User Data") if not show : chrome_options.add_argument('--headless') #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败driver = webdriver.Chrome(chrome_options=chrome_options)  # 调用带参数的谷歌浏览器  driver.maximize_window() #窗口最大化driver.get(url)print('正在加载界面....')wait = WebDriverWait(driver, 15)     wait.until(EC.presence_of_element_located((By.ID, "txt_SearchText"))).send_keys(keyword)#driver.find_element_by_id("txt_SearchText").send_keys('quantile')driver.find_element_by_xpath("//input[@class='search-btn' and @type='button']").click()#等待搜索结果显示wait.until(EC.presence_of_element_located((By.ID, "CDMD")))driver.switch_to.frame(1)i=0while True:for n in range(2,22):ye = i*20+n-1if ye > num : if download :input('请输入quit,使程序结束')driver.quit()sys.exit()wait.until(EC.presence_of_element_located((By.XPATH,'//tr[{}]//a[@class="fz14"]'.format(n)))).click()  #切换到最新窗口windows=driver.window_handles  #获得当前浏览器所有窗口driver.switch_to.window(windows[-1]) #切换到最新打开窗口(注:也就是全部课程这个窗口)try: title = wait.until(EC.presence_of_element_located((By.XPATH, "//h2[contains(@class,'title')]")))item = Item()if download :try :try : driver.find_element_by_id("pdfDown").click()except :driver.find_element_by_id("cajDown").click()driver.switch_to.window(windows[-1])except :print('警告:第{}页第{}个标题为:{}\n无法下载'.format(i+1,ye,title.text))try : summary = driver.find_element_by_id("ChDivSummary") item.value = summary.textexcept :print('警告:第{}页第{}个标题为:{}\n不存在摘要'.format(i+1,ye,title.text))item.title = title.textitems.append(item)except :   print('第%s个未加载成功'%ye)#time.sleep(3)driver.close()#windows=driver.window_handles  #获得当前浏览器所有窗口driver.switch_to.window(windows[0])driver.switch_to.frame(1)#下一页#driver.switch_to_default_content()wait.until(EC.presence_of_element_located((By.XPATH, '//a[@title="键盘的“← →”可以实现快速翻页"][last()]'))).click()print('提示:第{}页第{}个标题为:{}已收录成功'.format(i+1,ye,title.text))i += 1
if __name__ == '__main__':    #开始计时start=time.perf_counter()items=[]zhi('离在岸人民币',num=1,download=True)#结束计时end=time.perf_counter()total=(end-start)/60#计算结束时间current=time.time()current_time=time.localtime(current)h=current_time[3]h2=current_time[4]if h<10 : h='0'+str(h)if h2<10 : h2='0'+str(h2)print('-----------------程序已运行结束-----------------')print ('注:程序共运行%.2f分钟,结束时间:%s:%s' %(total,h,h2))

这篇关于获取知网摘要与PDF文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1132966

相关文章

python获取指定名字的程序的文件路径的两种方法

《python获取指定名字的程序的文件路径的两种方法》本文主要介绍了python获取指定名字的程序的文件路径的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 最近在做项目,需要用到给定一个程序名字就可以自动获取到这个程序在Windows系统下的绝对路径,以下

C#实现一键批量合并PDF文档

《C#实现一键批量合并PDF文档》这篇文章主要为大家详细介绍了如何使用C#实现一键批量合并PDF文档功能,文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言效果展示功能实现1、添加文件2、文件分组(书签)3、定义页码范围4、自定义显示5、定义页面尺寸6、PDF批量合并7、其他方法

SpringBoot 获取请求参数的常用注解及用法

《SpringBoot获取请求参数的常用注解及用法》SpringBoot通过@RequestParam、@PathVariable等注解支持从HTTP请求中获取参数,涵盖查询、路径、请求体、头、C... 目录SpringBoot 提供了多种注解来方便地从 HTTP 请求中获取参数以下是主要的注解及其用法:1

基于C#实现PDF转图片的详细教程

《基于C#实现PDF转图片的详细教程》在数字化办公场景中,PDF文件的可视化处理需求日益增长,本文将围绕Spire.PDFfor.NET这一工具,详解如何通过C#将PDF转换为JPG、PNG等主流图片... 目录引言一、组件部署二、快速入门:PDF 转图片的核心 C# 代码三、分辨率设置 - 清晰度的决定因

Python自动化处理PDF文档的操作完整指南

《Python自动化处理PDF文档的操作完整指南》在办公自动化中,PDF文档处理是一项常见需求,本文将介绍如何使用Python实现PDF文档的自动化处理,感兴趣的小伙伴可以跟随小编一起学习一下... 目录使用pymupdf读写PDF文件基本概念安装pymupdf提取文本内容提取图像添加水印使用pdfplum

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装

Java高效实现Word转PDF的完整指南

《Java高效实现Word转PDF的完整指南》这篇文章主要为大家详细介绍了如何用Spire.DocforJava库实现Word到PDF文档的快速转换,并解析其转换选项的灵活配置技巧,希望对大家有所帮助... 目录方法一:三步实现核心功能方法二:高级选项配置性能优化建议方法补充ASPose 实现方案Libre

使用Python提取PDF大纲(书签)的完整指南

《使用Python提取PDF大纲(书签)的完整指南》PDF大纲(Outline)​​是PDF文档中的导航结构,通常显示在阅读器的侧边栏中,方便用户快速跳转到文档的不同部分,大纲通常以层级结构组织,包含... 目录一、PDF大纲简介二、准备工作所需工具常见安装问题三、代码实现完整代码核心功能解析四、使用效果控

基于Python实现进阶版PDF合并/拆分工具

《基于Python实现进阶版PDF合并/拆分工具》在数字化时代,PDF文件已成为日常工作和学习中不可或缺的一部分,本文将详细介绍一款简单易用的PDF工具,帮助用户轻松完成PDF文件的合并与拆分操作... 目录工具概述环境准备界面说明合并PDF文件拆分PDF文件高级技巧常见问题完整源代码总结在数字化时代,PD

Python实现Word转PDF全攻略(从入门到实战)

《Python实现Word转PDF全攻略(从入门到实战)》在数字化办公场景中,Word文档的跨平台兼容性始终是个难题,而PDF格式凭借所见即所得的特性,已成为文档分发和归档的标准格式,下面小编就来和大... 目录一、为什么需要python处理Word转PDF?二、主流转换方案对比三、五套实战方案详解方案1: