Selenium控制已运行的Edge和Chrome浏览器——在线控制 | 人机交互（详细启动步骤和bug记录）

2024-03-16 12:36
文章标签 启动 步骤 运行 selenium 记录 详细 浏览器 人机交互 控制 bug 在线 chrome edge

本文主要是介绍Selenium控制已运行的Edge和Chrome浏览器——在线控制 | 人机交互（详细启动步骤和bug记录），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 前期准备
  • 1. 浏览器开启远程控制指令
    • （1）Edge
    • （2）Chrome
  • 2. 执行python代码
    • （1）先启动浏览器后执行代码
    • （2）通过代码启动浏览器
    • （3）Bug问题记录
      • 1）python可读取浏览器所有标签标题，但检索网页元素失败
      • 2）浏览器开启程序，但python程序无法链接浏览器进行自动控制
  • 3. 爬取效果
  • 3. 完整代码共享
    • 3.1 包含Excel部分的完整代码
    • 3.2 爬虫部分的完整代码

说明：本记录是在Windows系统上执行的！
起因是：博导要求统计一下国内某个领域的专家情况，统计主持国家自然科学基金的副教授和教授都有哪些大牛！
于是：本人去[NSFC]：https://kd.nsfc.cn/ 下载全部的历史基金项目书。。。。工作量太大就……半自动化实现吧！！！

前期准备

1. python Selenium库
2. Edge浏览器 或 Chrome浏览器

1. 浏览器开启远程控制指令

  1. 无论是哪种浏览器，都需要使用终端独立运行浏览器的远程调试模式。
  2. 开启方式：加入指令（–remote-debugging-port=9222 --user-data-dir=“D:\selenium\AutomationProfile”）

需要进入目标浏览器的根目录！ 不然就输入全路径！

（1）Edge

.\msedge.exe --remote-debugging-port=9222 --user-data-dir=“D:\selenium\AutomationProfile”

（2）Chrome

 .\chrome.exe --remote-debugging-port=9222 --user-data-dir=“D:\selenium\AutomationProfile”

在这里插入图片描述

2. 执行python代码

（1）先启动浏览器后执行代码

  • 必须是先执行上述步骤，开启了浏览器的远程调试端口后，才能通过下方代码进行控制。

  • add_experimental_option("debuggerAddress", "127.0.0.1:9222") 这句话是关键！

from selenium import webdriver
from selenium.webdriver.edge.options import Optionsclass Test:def edge(self):edge_driver_path = executable_path=r'C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe'chrome_options = Options()# chrome_options.binary_location = edge_driver_path  #  传入驱动地址chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")  # "127.0.0.1:9222"其中，9222是浏览器的运行端口# 让浏览器带着这个配置运行# chrome_options.add_experimental_option('detach', True)  # 通过option参数，设置浏览器不关闭driver = webdriver.Edge(options=chrome_options, keep_alive=True)driver.implicitly_wait(10)  # 页面元素查找的等待时间self.driver = driverpassdef chrome_drive(self, drive='chrome'):edge_driver_path = executable_path = r'D:\Program Files\Google\Chrome\Application'if drive == 'chrome':chrome_options = webdriver.ChromeOptions()# chrome_options.binary_location = edge_driver_path    #  传入驱动地址# chrome_options.add_experimental_option('detach', True)  # 通过option参数，设置浏览器不关闭chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")driver = webdriver.Chrome(options=chrome_options, keep_alive=False)driver.implicitly_wait(10)  # 页面元素查找的等待时间self.driver = driverpass

（2）通过代码启动浏览器

  • 这个时候被注释掉的 .binary_location = edge_driver_path 是关键！
  • 这种情况下，需要下载对应的驱动软件（.exe）
  • 博主在笔记本电脑上首次尝试Selenium时就下载了驱动软件！但后来在台式电脑使用相同代码时发现，压根不需要下载什么驱动软件！
  • 只需要使用终端提前启动浏览器的调试模型即可。 （这是弯路、坑）
  • 因为，如果是通过代码启动浏览器的调试模型，需要配置路径，然后保证程序关闭后浏览器依旧运行！麻烦！！！

（3）Bug问题记录

1）python可读取浏览器所有标签标题，但检索网页元素失败

  • 部分网页不支持爬取！特别是当网页开启F12的开发人选项后，会出现无法查找元素的问题。
  • 此时，关闭 “开发人选项” 即可。

2）浏览器开启程序，但python程序无法链接浏览器进行自动控制

  • 关闭原有浏览器，重新打开浏览器（需搭配命令：–remote-debugging-port=9222 --user-data-dir=“xxx folder”

3. 爬取效果

![(https://img-blog.csdnimg.cn/direct/492fe54da6c24809a654191a43365f14.png)

3. 完整代码共享

以下代码主要实现了：

  • 浏览器标签页的翻动和选择
  • 爬取 – 青塔网检索”国家自然科学基金项目“的作者信息，并保存到表格。
  • 爬取 – NSFC”国家自然科学基金项目“的作者信息，并保存到表格。
  • 爬取 – 国际某个领域专家的作者信息，并保存到表格。

3.1 包含Excel部分的完整代码

包含Excel部分的完整代码见：资源文件

3.2 爬虫部分的完整代码

import os
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.action_chains import ActionChains# '.\chrome.exe --remote-debugging-port=9222 --user-data-dir=“D:\selenium\AutomationProfile”             n "*" --ws --allow-insecure-unlock --nodiscover --authrpc.addr 127.0.1.2 --authrpc.port 8545'
# '.\chrome.exe --remote-debugging-port=9222 --user-data-dir=“D:\selenium\AutomationProfile”'class Web_Browser:def __init__(self, drive='chrome'):self.driver = None# self.edge()self.chrome_drive()def edge(self):# edge_driver_path = executable_path=r'D:\Program Files\Google\Chrome\Application\chromedriver.exe'edge_driver_path = executable_path=r'C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe'chrome_options = Options()# chrome_options.binary_location = edge_driver_path# 配置浏览器# 添加User-Agent到Chrome选项中# chrome_options.add_argument("--user-agent=windows 10 Edge")# "127.0.0.1:9222"其中，9222是浏览器的运行端口chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")# 让浏览器带着这个配置运行# chrome_options.add_experimental_option('detach', True)  # 通过option参数，设置浏览器不关闭driver = webdriver.Edge(options=chrome_options, keep_alive=True)# driver = webdriver.Chrome( options=chrome_options)print('===================')# driver.get('www.baidu.com')driver.implicitly_wait(10)self.driver = driverdef chrome_drive(self, drive='chrome'):edge_driver_path = executable_path = r'D:\Program Files\Google\Chrome\Application\chromedriver.exe'if drive == 'chrome':chrome_options = webdriver.ChromeOptions()# chrome_options.binary_location = edge_driver_path# chrome_options.add_experimental_option('detach', True)  # 通过option参数，设置浏览器不关闭chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")driver = webdriver.Chrome(options=chrome_options, keep_alive=False)self.driver = driverdriver.implicitly_wait(10)self.opened_windows_dict = Nonepassdef get_all_opened_windows(self):driver = self.drivercw = driver.current_window_handleres = {}# 获取已打开的标签页的信息tabs = driver.window_handlesfor t in tabs:driver.switch_to.window(t)res[str(driver.title)] = str(t)self.opened_windows_dict = resdriver.switch_to.window(cw)print('已打开的标签页的信息:',)for k in res: print(f"\t{k}: {res[k]}")return resdef switch_window(self, key):driver = self.drivercw = driver.current_window_handle# 获取已打开的标签页的信息tabs = driver.window_handlesfor t in tabs:driver.switch_to.window(t)if key in str(driver.title): cw = tbreak# driver.switch_to.window(cw)self.driver = driverpassdef open_new_window(self, driver=None, url=None, delay_t=0.6):'''# 打开新标签页'''driver = self.driver if not driver else driverold_handle = driver.window_handles  # 获取已打开的标签页的信息# driver.find_element("body").send_keys(Keys.CONTROL + 't')  # 没有实体会报错# driver.execute_script("window.open('','_blank');")  # 可能被拦截driver.switch_to.new_window('tab')time.sleep(delay_t)if len(driver.window_handles) >len(old_handle): return Truedriver.execute_script(f"window.open('{url if url else ''}');")time.sleep(delay_t)if len(driver.window_handles) >len(old_handle): return Truereturn Falsedef func1(self, xlsx):""" 学术网 """for p in range(50):# self.switch_window('故障诊断')driver = self.driverweb = driver.find_element(by=By.XPATH, value='//*[@id="search_body"]/div[2]/div[3]/div[1]/div[2]/div[1]/div[3]/div[2]/div/div[2]/div[2]/div/div')web1 = web.find_elements(by=By.CLASS_NAME, value='inner-content')print('web1 len=', len(web1))num = 0for i, w in enumerate(web1):try:# '//*[@id="search_body"]/div[2]/div[3]/div[1]/div[2]/div[1]/div[3]/div[2]/div/div[2]/div[2]/div/div'#a = w.find_element(by=By.XPATH, value=f'//div[{1+i}]/div/div[2]/div[1]/div[1]/div/a/strong/span/span').texttry:b = w.find_element(by=By.XPATH, value=f'//div[{1 + i}]/div/div[2]/div[3]/p[2]').textschool = str(b).split(',')for s in school:if 'university' in s.lower(): b = s[1:]except: b = Nonec = w.find_element(by=By.XPATH, value=f'//div[{1 + i}]/div/div[2]/div[3]/p[1]').textd = Nonee = Nonef = Nonetry:h_index = w.find_element(by=By.XPATH, value=f'//div[{1 + i}]/div/div[2]/div[2]/div/span[1]/span[3]').textpaper = w.find_element(by=By.XPATH, value=f'//div[{1 + i}]/div/div[2]/div[2]/div/span[2]/span[3]').textcite = w.find_element(by=By.XPATH, value=f'//div[{1 + i}]/div/div[2]/div[2]/div/span[3]/span[3]').textf = f"H-index: {h_index},  papers: {paper}, cites: {cite}"except: passg = Noneh = w.find_element(by=By.XPATH, value=f'//div[{1 + i}]/div/div[2]/div[1]/div[1]/div/a')h = 'https://www.aminer.cn/' + h.get_attribute('href')print(a, b ,c, g)xlsx.input_data(a,b,c,d,e,f,g, h)num += 1except: passprint('记录：', num)# aa = driver.find_elements(by=By.XPATH, value='//*[@id="search_body"]/div[2]/div[3]/div[1]/div[2]/div[1]/div[3]/div[2]/div/div[2]/div[3]/ul/li')# aa = aa[-1]aa = driver.find_element(by=By.CLASS_NAME, value='ant-pagination-next')# v = '#search_body > div.ant-tabs.ant-tabs-top.a-aminer-core-search-index-searchPageTab.ant-tabs-line.ant-tabs-no-animation > div.ant-tabs-content.ant-tabs-content-no-animated.ant-tabs-top-content > div.ant-tabs-tabpane.ant-tabs-tabpane-active > div.a-aminer-core-search-index-componentContent > div.a-aminer-core-search-c-search-component-temp-searchComponent > div.view > div:nth-child(2) > div > div:nth-child(2) > div.paginationWrap > ul > li.ant-pagination-next'# aa = driver.find_element(by=By.CSS_SELECTOR, value=v)# 创建一个ActionChains对象，用于执行鼠标动作action_chains = ActionChains(driver)# 将鼠标移动到链接元素上并点击action_chains.move_to_element(aa).click().perform()print(f'第{p+1}页 --> 第{p+2}页')try:xlsx.make_frame()xlsx.save_excel()except: passtime.sleep(5)passdef func2(self, xlsx=None):for p in range(50):self.switch_window('青塔')driver = self.driverweb = driver.find_element(by=By.XPATH,value='//*[@id="app"]/div[2]/div[1]/div/div[2]/div[2]/div/div[2]')web1 = web.find_elements(by=By.CLASS_NAME, value='list-item')print('web1 len=', len(web1))num = 0for i, w in enumerate(web1):# try:# //*[@id="app"]/div[2]/div[1]/div/div[2]/div[2]/div/div[2]# '//*[@id="app"]/div[2]/div[1]/div/div[2]/div[2]/div/div[2]/div/div[2]/div[2]/div[2]/div[1]/div[2]'# //*[@id="app"]/div[2]/div[1]/div/div[2]/div[2]/div/div[2]/div/div[1]/div[2]/div[2]/div[1]/div[1]b = w.find_element(by=By.XPATH, value=f'//div[2]/div[1]/div[1]/div[2]')print(b)b = b.textprint('b=', b)a = w.find_element(by=By.XPATH, value=f'//div[2]/div[2]/div[1]/div[2]').textprint('a=', a)c = Noned = Nonee = w.find_element(by=By.XPATH, value=f'//div[1]/div[1]').textprint('e=', e)year = w.find_element(by=By.XPATH, value=f'//div[2]/div[2]/div[2]/div[2]').textmoney = w.find_element(by=By.XPATH, value=f'//div[2]/div[1]/div[2]/div[2]').textprint('year=', year, 'money=', money)e = f"{e}, 立项: {year}, 资助: {money}"jijin = w.find_element(by=By.XPATH, value=f'//div[2]/div[3]/div[1]/div[2]').textdomain = w.find_element(by=By.XPATH, value=f'//div[2]/div[3]/div[2]/div[2]').textprint('jijin=',jijin, 'domain=', domain)f = f"{jijin}, 领域: {domain}"g = Noneh = Noneprint(i, '-----------', i)print(a, b, c, d, e, f)xlsx.input_data(a, b, c, d, e, f, g, h)num += 1break# except: passprint('记录：', num)breakaa = driver.find_element(by=By.XPATH, value=f'//*[@id="app"]/div[2]/div[1]/div/div[2]/div[2]/div/div[3]/button[2]')# 创建一个ActionChains对象，用于执行鼠标动作action_chains = ActionChains(driver)# 将鼠标移动到链接元素上并点击action_chains.move_to_element(aa).click().perform()print(f'第{p + 1}页 --> 第{p + 2}页')try:xlsx.make_frame()xlsx.save_excel()except:passtime.sleep(5)passdef func3(self, xlsx=None):for p in range(50):self.switch_window('大数据知识管理服务门户')driver = self.driverd = driver.find_element(by=By.CLASS_NAME, value='container_list_right')print('d==', d)# web = driver.find_element(by=By.XPATH,#                           value='//*[@id="app"]/div[1]/div[3]/div/div[3]/div[1]/div')web = d.find_element(by=By.XPATH, value='//div[1]/div')# web1 = web.find_elements(by=By.CLASS_NAME, value='list-item')# print('web1 len=', len(web1))num = 0for i, w2 in enumerate(range(6)):w = webtry:# //*[@id="app"]/div[1]/div[3]/div/div[3]/div[1]/div# //*[@id="app"]/div[1]/div[3]/div/div[3]# //*[@id="app"]/div[1]/div[3]/div/div[3]/div[1]/div/div[2]/div[2]/div[1]b = w.find_element(by=By.XPATH, value=f'//div[{i+1}]/div[3]/div[4]/a')b = b.text# print('b=', b)a = w.find_element(by=By.XPATH, value=f'//div[{i+1}]/div[2]/div[4]/a').text# print('a=', a)c = Noned = Nonee = w.find_element(by=By.XPATH, value=f'//div[{i+1}]/div[1]/div[1]/p/a').text# print('e=', e)year = w.find_element(by=By.XPATH, value=f'//div[{i+1}]/div[3]/div[3]').textmoney = w.find_element(by=By.XPATH, value=f'//div[{i+1}]/div[3]/div[1]').text# print('year=', year, 'money=', money)e = f"{e}, {year}, {money}"jijin = w.find_element(by=By.XPATH, value=f'//div[{i+1}]/div[2]/div[3]').textdomain = w.find_element(by=By.XPATH, value=f'//div[{i+1}]/div[2]/div[1]').text# print('jijin=',jijin,  domain)f = f"{jijin}, {domain}"g = Noneh = Noneprint(i+1, '-----------', i+1)print(a, b, c, d, e, f)xlsx.input_data(a, b, c, d, e, f, g, h)num += 1# breakexcept: passprint('记录：', num)# break# aa = driver.find_element(by=By.CLASS_NAME, value=f'btn-next')# # 创建一个ActionChains对象，用于执行鼠标动作# action_chains = ActionChains(driver)# # 将鼠标移动到链接元素上并点击# action_chains.move_to_element(aa).click().perform()print(f'第{p + 1}页 --> 第{p + 2}页')try:xlsx.make_frame()xlsx.save_excel()except:passbreak# time.sleep(5)passdef func4(self, xlsx=None, key='Google2'):if key == 'Google': self.switch_window('Google')else: self.switch_window('必应')driver = self.driverdata = xlsx.read_excel()# print(data['姓名'])for i, name in enumerate(data['姓名']):school = data['学校'][i]text = f'{school}{name}是不是教授'print(f'search [{i+1}]:  {name} -》 ', text)if key == 'Google': web = driver.find_element(by=By.XPATH, value='//*[@id="APjFqb"]')else: web = driver.find_element(by=By.XPATH, value='//*[@id="sb_form_q"]')web.clear()web.send_keys(text)if key == 'Google': web = driver.find_element(by=By.XPATH, value='//*[@id="tsf"]/div[1]/div[1]/div[2]/button')else: web = driver.find_element(by=By.XPATH, value='//*[@id="sb_form_go"]')# try:web.click()# except: passtime.sleep(5)num = 0if __name__ == '__main__':from temp import Make_Excel, input_data_list, input_dataxlsx = Make_Excel()web = Web_Browser()web.get_all_opened_windows()# web.switch_window('故障诊断')''' 学术网 '''web.func1(xlsx)  # 学术网# web.func2(xlsx)  #  青塔网# web.func3(xlsx)  #  NSFC官网# web.func4(xlsx, )    # goole搜索网# xlsx.make_frame()# xlsx.save_excel()pass

这篇关于Selenium控制已运行的Edge和Chrome浏览器——在线控制 | 人机交互（详细启动步骤和bug记录）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/815521。

相关文章

Java -jar命令如何运行外部依赖JAR包

Java -jar命令如何运行外部依赖JAR包

《Java-jar命令如何运行外部依赖JAR包》在Java应用部署中,java-jar命令是启动可执行JAR包的标准方式,但当应用需要依赖外部JAR文件时,直接使用java-jar会面临类加载困... 目录引言：外部依赖JAR的必要性一、问题本质：类加载机制的限制1. Java -jar的默认行为2. 类加
阅读更多...
Java进程CPU使用率过高排查步骤详细讲解

Java进程CPU使用率过高排查步骤详细讲解

《Java进程CPU使用率过高排查步骤详细讲解》：本文主要介绍Java进程CPU使用率过高排查的相关资料,针对Java进程CPU使用率高的问题,我们可以遵循以下步骤进行排查和优化,文中通过代码介绍... 目录前言一、初步定位问题1.1 确认进程状态1.2 确定Java进程ID1.3 快速生成线程堆栈二、分析
阅读更多...
Java中的登录技术保姆级详细教程

Java中的登录技术保姆级详细教程

《Java中的登录技术保姆级详细教程》：本文主要介绍Java中登录技术保姆级详细教程的相关资料,在Java中我们可以使用各种技术和框架来实现这些功能,文中通过代码介绍的非常详细,需要的朋友可以参考... 目录1.登录思路2.登录标记1.会话技术2.会话跟踪1.Cookie技术2.Session技术3.令牌技
阅读更多...
如何搭建并配置HTTPD文件服务及访问权限控制

如何搭建并配置HTTPD文件服务及访问权限控制

《如何搭建并配置HTTPD文件服务及访问权限控制》：本文主要介绍如何搭建并配置HTTPD文件服务及访问权限控制的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、安装HTTPD服务二、HTTPD服务目录结构三、配置修改四、服务启动五、基于用户访问权限控制六、
阅读更多...
VSCode设置python SDK路径的实现步骤

VSCode设置python SDK路径的实现步骤

《VSCode设置pythonSDK路径的实现步骤》本文主要介绍了VSCode设置pythonSDK路径的实现步骤,包括命令面板切换、settings.json配置、环境变量及虚拟环境处理,具有一定... 目录一、通过命令面板快速切换（推荐方法）二、通过 settings.json 配置（项目级/全局）三、
阅读更多...
java -jar命令运行 jar包时运行外部依赖jar包的场景分析

java -jar命令运行 jar包时运行外部依赖jar包的场景分析

《java-jar命令运行jar包时运行外部依赖jar包的场景分析》：本文主要介绍java-jar命令运行jar包时运行外部依赖jar包的场景分析,本文给大家介绍的非常详细,对大家的学习或工作... 目录Java -jar命令运行 jar包时如何运行外部依赖jar包场景：解决：方法一、启动参数添加： -Xb
阅读更多...
Macos创建python虚拟环境的详细步骤教学

Macos创建python虚拟环境的详细步骤教学

《Macos创建python虚拟环境的详细步骤教学》在macOS上创建Python虚拟环境主要通过Python内置的venv模块实现,也可使用第三方工具如virtualenv,下面小编来和大家简单聊聊... 目录一、使用 python 内置 venv 模块（推荐）二、使用 virtualenv（兼容旧版 P
阅读更多...
Windows 系统下 Nginx 的配置步骤详解

Windows 系统下 Nginx 的配置步骤详解

《Windows系统下Nginx的配置步骤详解》Nginx是一款功能强大的软件,在互联网领域有广泛应用,简单来说,它就像一个聪明的交通指挥员,能让网站运行得更高效、更稳定,：本文主要介绍W... 目录一、为什么要用 Nginx二、Windows 系统下 Nginx 的配置步骤1. 下载 Nginx2. 解压
阅读更多...
MySQL启动报错：InnoDB表空间丢失问题及解决方法

MySQL启动报错：InnoDB表空间丢失问题及解决方法

《MySQL启动报错：InnoDB表空间丢失问题及解决方法》在启动MySQL时,遇到了InnoDB:Tablespace5975wasnotfound,该错误表明MySQL在启动过程中无法找到指定的s... 目录mysql 启动报错：InnoDB 表空间丢失问题及解决方法错误分析解决方案1. 启用 inno
阅读更多...
apache的commons-pool2原理与使用实践记录

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源（如数据库连接、线程、网络连接）优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解（以数据库连接池为例）三、高级配置与优化四、典型应用场景五、注意事
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2