【网站可用性自动化监测】python+seleium

2023-11-26 19:50

本文主要是介绍【网站可用性自动化监测】python+seleium,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【网站可用性自动化监测】python+seleium

    • 前倾提要:做了网络安全后重保期间需要对用户系统每日进行监测,相关监测脚本网上其实也有很多,但能自己个性化做一下也挺好,太久没做小程序需要写下代码巩固。
    • 本次程序开发目的是重保期间每天分三个时间点对多个网站进行访问监测可用性,并截图,如发现异常把异常站点推送至微信助手并记录
    • 分三大功能函数:网站访问、网站列表读取、定时执行函数

前倾提要:做了网络安全后重保期间需要对用户系统每日进行监测,相关监测脚本网上其实也有很多,但能自己个性化做一下也挺好,太久没做小程序需要写下代码巩固。

本次程序开发目的是重保期间每天分三个时间点对多个网站进行访问监测可用性,并截图,如发现异常把异常站点推送至微信助手并记录

分三大功能函数:网站访问、网站列表读取、定时执行函数

第一部分网站列表读取 代码片.

def get_page_png(urls, browser,now_folder):die_domain = []'''从一个地址列表里,逐个访问,可以访问的地址就截图'''for url in urls:png_namea = url.replace('//', '_').replace('.', '_').replace('/', '_').replace(':',"_")png_name = png_namea + '.png'try:# 屏蔽requests的ssl warning警告信息urllib3.disable_warnings()response = requests.get(url=url, headers=headers, timeout=10, verify=False)if response.status_code == 200:# 访问url# print('url:',url)browser.get(url)# 保存截图browser.save_screenshot(f"./{now_folder}/{png_name}")print(f"{png_name} 保存成功")except:now_404 = f"{url} 无法访问!"print(now_404)mychat(now_404)die_domain.append(url)passnow_die_domain(die_domain)

第二部分网站访问 代码片.

def main():'''主函数'''# 构造urlprint(time.strftime("%Y-%m-%d %H:%M"))urls = []with open("domain_list.txt", "r") as f:for domain in f.readlines():urls.append(domain.strip())# 选项设置options = webdriver.ChromeOptions()# 指定chrome浏览器路径# options.binary_location = r"C:\\Program Files\\Google\\Chrome\\Application"# 终端不显示日志options.add_experimental_option('excludeSwitches', ['enable-logging'])# # 设置无头模式# chrome_options = Options()# chrome_options.add_argument('--headless')# chrome_options.add_argument('--disable_gpu')# 设置无头模式options.add_argument('--headless')options.add_argument('--disable_gpu')# 实例化一个浏览器对象# browser = webdriver.Chrome(executable_path='./chromedriver.exe', options=options)# s = Service("chromedriver.exe")browser = webdriver.Chrome(options=options)# 设置屏幕最大化browser.maximize_window()# 执行浏览器访问now_folder = new_folder()get_page_png(urls, browser,now_folder)# 访问结束后退出browser.quit()

第三部分定时执行 代码片.

def mytime():schedule.every().day.at("10:00").do(main)#里面时间进行修改schedule.every().day.at("13:00").do(main)schedule.every().day.at("16:00").do(main)while True:try:schedule.run_pending()time.sleep(1)except Exception as e:print('报错:',e)

完整代码 代码片.

#!/usr/bin/env python
# -*- coding:utf-8 -*-import requests
import os
import time
import urllib3
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
import schedule
#import itchat#此库是调用网页版微信,可自动化使用微信,但测试中发现大部分用户在扫描二维码阶段出现异常,排查结果说是微信安全屏蔽了此接口调用,运气好的可以试试(我可以使用)#根据时间创建保存网站截图的文件夹
def new_folder():s = time.strftime("%Y%m%d%H%M")os.mkdir("http_pic" + s)f = "http_pic" + sreturn fdef get_page_png(urls, browser,now_folder):die_domain = []'''从一个地址列表里,逐个访问,可以访问的地址就截图'''for url in urls:png_namea = url.replace('//', '_').replace('.', '_').replace('/', '_').replace(':',"_")png_name = png_namea + '.png'try:# 屏蔽requests的ssl warning警告信息urllib3.disable_warnings()response = requests.get(url=url, headers=headers, timeout=10, verify=False)if response.status_code == 200:# 访问url# print('url:',url)browser.get(url)# 保存截图browser.save_screenshot(f"./{now_folder}/{png_name}")print(f"{png_name} 保存成功")except:now_404 = f"{url} 无法访问!"print(now_404)#mychat(now_404)#发送无法网站站点给微信助手die_domain.append(url)passnow_die_domain(die_domain)#导出无法访问站点.txt文件
def now_die_domain(die_domain):if die_domain:f = open("无法访问的站点.txt", "a")f.write(time.strftime(f"%Y-%m-%d %H:%M") + "\n")for domain in die_domain:f.write(domain + "\n")f.close()def main():'''主函数'''# 构造urlprint(time.strftime("%Y-%m-%d %H:%M"))urls = []with open("domain_list.txt", "r") as f:for domain in f.readlines():urls.append(domain.strip())# 选项设置options = webdriver.ChromeOptions()# 指定chrome浏览器路径# options.binary_location = r"C:\\Program Files\\Google\\Chrome\\Application"# 终端不显示日志options.add_experimental_option('excludeSwitches', ['enable-logging'])# # 设置无头模式# chrome_options = Options()# chrome_options.add_argument('--headless')# chrome_options.add_argument('--disable_gpu')# 设置无头模式options.add_argument('--headless')options.add_argument('--disable_gpu')# 实例化一个浏览器对象# browser = webdriver.Chrome(executable_path='./chromedriver.exe', options=options)# s = Service("chromedriver.exe")browser = webdriver.Chrome(options=options)# 设置屏幕最大化browser.maximize_window()# 执行浏览器访问now_folder = new_folder()get_page_png(urls, browser,now_folder)# 访问结束后退出browser.quit()#把无法访问站点发送给微信助手,可以用腾讯短信功能代替,但需要开发对应小程序并申请(https://cloud.tencent.com/search/%E7%9F%AD%E4%BF%A1/1_1)
def mychat(now_404):a = now_404itchat.send(a, toUserName='filehelper')# print('已发送',a)def mytime():schedule.every().day.at("10:00").do(main)schedule.every().day.at("13:00").do(main)schedule.every().day.at("16:00").do(main)while True:try:schedule.run_pending()time.sleep(1)except Exception as e:print('报错:',e)if __name__ == '__main__':#itchat.auto_login(hotReload=True)#微信二维码headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36",}mytime()

程序运行效果 代码片

在这里插入图片描述
.在这里插入图片描述

在这里插入图片描述
备注:seleium需要指定浏览器和匹配driver文件,本脚本使用的是chrome及对应版本driver(driver下载链接http://chromedriver.storage.googleapis.com/index.html)

这篇关于【网站可用性自动化监测】python+seleium的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/426228

相关文章

Python FastMCP构建MCP服务端与客户端的详细步骤

《PythonFastMCP构建MCP服务端与客户端的详细步骤》MCP(Multi-ClientProtocol)是一种用于构建可扩展服务的通信协议框架,本文将使用FastMCP搭建一个支持St... 目录简介环境准备服务端实现(server.py)客户端实现(client.py)运行效果扩展方向常见问题结

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python实现自动化Word文档样式复制与内容生成

《Python实现自动化Word文档样式复制与内容生成》在办公自动化领域,高效处理Word文档的样式和内容复制是一个常见需求,本文将展示如何利用Python的python-docx库实现... 目录一、为什么需要自动化 Word 文档处理二、核心功能实现:样式与表格的深度复制1. 表格复制(含样式与内容)2

python获取cmd环境变量值的实现代码

《python获取cmd环境变量值的实现代码》:本文主要介绍在Python中获取命令行(cmd)环境变量的值,可以使用标准库中的os模块,需要的朋友可以参考下... 前言全局说明在执行py过程中,总要使用到系统环境变量一、说明1.1 环境:Windows 11 家庭版 24H2 26100.4061

Python中文件读取操作漏洞深度解析与防护指南

《Python中文件读取操作漏洞深度解析与防护指南》在Web应用开发中,文件操作是最基础也最危险的功能之一,这篇文章将全面剖析Python环境中常见的文件读取漏洞类型,成因及防护方案,感兴趣的小伙伴可... 目录引言一、静态资源处理中的路径穿越漏洞1.1 典型漏洞场景1.2 os.path.join()的陷

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据

Python中bisect_left 函数实现高效插入与有序列表管理

《Python中bisect_left函数实现高效插入与有序列表管理》Python的bisect_left函数通过二分查找高效定位有序列表插入位置,与bisect_right的区别在于处理重复元素时... 目录一、bisect_left 基本介绍1.1 函数定义1.2 核心功能二、bisect_left 与

Python使用Tkinter打造一个完整的桌面应用

《Python使用Tkinter打造一个完整的桌面应用》在Python生态中,Tkinter就像一把瑞士军刀,它没有花哨的特效,却能快速搭建出实用的图形界面,作为Python自带的标准库,无需安装即可... 目录一、界面搭建:像搭积木一样组合控件二、菜单系统:给应用装上“控制中枢”三、事件驱动:让界面“活”

VSCode设置python SDK路径的实现步骤

《VSCode设置pythonSDK路径的实现步骤》本文主要介绍了VSCode设置pythonSDK路径的实现步骤,包括命令面板切换、settings.json配置、环境变量及虚拟环境处理,具有一定... 目录一、通过命令面板快速切换(推荐方法)二、通过 settings.json 配置(项目级/全局)三、

Python struct.unpack() 用法及常见错误详解

《Pythonstruct.unpack()用法及常见错误详解》struct.unpack()是Python中用于将二进制数据(字节序列)解析为Python数据类型的函数,通常与struct.pa... 目录一、函数语法二、格式字符串详解三、使用示例示例 1:解析整数和浮点数示例 2:解析字符串示例 3:解