使用psutil进行系统资源的快速监控（代码）

本文主要是介绍使用psutil进行系统资源的快速监控（代码），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

问题背景

如果我们没有部署成套的监控系统，如产品平台的grafana类，后台的 nmon、夜莺监控等等，又想自动化收集测试期间的系统资源使用情况，可以使用 psutil 实现自己可控的效果。

思路与目标

要在Linux环境下使用 python 监控性能指标（如CPU、内存、磁盘使用情况），你可以直接读取 /proc 文件系统中的相关信息，或者使用第三方库来简化操作。我们使用 psutil 来简化操作，目标是每秒或每 2 秒采集一次数据，结果写入到 csv（等同于 excel）文件。

每 2 秒是为了减轻监控程序对主测试项的干扰，同样的, 优秀的监控平台很多，我们自行实现也是为了弱化现有监控系统的黑盒程度。

准备工作

由于使用 esrally 测试，我本地已有 python 3 版本的环境。

pip3 install psutilLooking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Requirement already satisfied: psutil in ./python3/Python-3.10/lib/python3.10/site-packages (5.9.4)

代码实现

import psutil
import timedef monitor_resources(interval=1):print("开始监控系统资源...")# 监控循环while True:# CPU使用率cpu_percent = psutil.cpu_percent(interval=interval)print(f"CPU使用率: {cpu_percent}%")# 内存使用情况memory = psutil.virtual_memory()memory_used_percent = memory.percentprint(f"内存使用率: {memory_used_percent}%")# 磁盘使用情况，这里以根目录'/'为例disk_usage = psutil.disk_usage('/')disk_used_percent = disk_usage.percentprint(f"磁盘使用率 (根目录): {disk_used_percent}%")# 暂停一段时间再次检查time.sleep(interval)# 你可以根据需要在某条件满足时跳出循环，比如监控特定时长后停止# 示例：如果只想监控10秒，可以添加计数器或时间检查# 调用函数开始监控
monitor_resources(interval=1)

考虑优化

磁盘使用率改为速率

一般在性能测试中磁盘空间并不重要，其带宽使用率更受关注，因此需要优化上述代码。

import psutil
import timedef monitor_resources(interval=1):print("开始全面监控系统资源...")# 初始化磁盘IO计数prev_disk_io = psutil.disk_io_counters()while True:# CPU使用率cpu_percent = psutil.cpu_percent(interval=interval)print(f"CPU使用率: {cpu_percent}%")# 内存使用情况memory = psutil.virtual_memory()memory_used_percent = memory.percentprint(f"内存使用率: {memory_used_percent}%")# 磁盘读写速率监控current_disk_io = psutil.disk_io_counters()read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / intervalwrite_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / intervalprint(f"磁盘读取速率: {read_bytes_sec / 1024 / 1024:.2f} MB/s")print(f"磁盘写入速率: {write_bytes_sec / 1024 / 1024:.2f} MB/s")prev_disk_io = current_disk_io  # 更新前一次的磁盘IO计数# 暂停一段时间再次检查time.sleep(interval)# 调用函数开始全面监控
monitor_resources(interval=1)

将输出写入到 csv

如果打印在屏幕上我们将无法进行后续的统计分析，我们首先将结果输出到文件中。

要将监控结果写入CSV文件，你可以使用Python的内置 csv 模块。下面是如何修改 monitor_resources(interval=1) 函数，使其输出结果保存到CSV文件中的示例：

import csv
import psutil
import timedef monitor_resources_to_csv(interval=1, filename='resources_monitor.csv'):"""监控系统资源并将结果写入CSV文件。:param interval: 监控间隔，单位为秒。:param filename: 输出的CSV文件名。"""print("开始监控系统资源并写入CSV...")with open(filename, mode='w', newline='') as csvfile:fieldnames = ['timestamp', 'cpu_usage', 'memory_usage', 'disk_read_rate', 'disk_write_rate']writer = csv.DictWriter(csvfile, fieldnames=fieldnames)writer.writeheader()  # 写入表头# 初始化磁盘IO计数prev_disk_io = psutil.disk_io_counters()while True:timestamp = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())# CPU使用率cpu_percent = psutil.cpu_percent(interval=interval)# 内存使用情况memory = psutil.virtual_memory()memory_used_percent = memory.percent# 磁盘读写速率监控current_disk_io = psutil.disk_io_counters()read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / intervalwrite_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / intervalprev_disk_io = current_disk_io  # 更新前一次的磁盘IO计数# 将数据写入CSVwriter.writerow({'timestamp': timestamp,'cpu_usage': cpu_percent,'memory_usage': memory_used_percent,'disk_read_rate': read_bytes_sec / 1024 / 1024,  # 转换为MB/s'disk_write_rate': write_bytes_sec / 1024 / 1024,  # 转换为MB/s})# 暂停一段时间再次检查time.sleep(interval)# 调用函数开始监控并写入CSV
monitor_resources_to_csv(interval=1)

这会在指定的 filename 路径下创建一个CSV文件，并将每次监控周期的CPU使用率、内存使用率以及磁盘读写速率记录下来。

每行数据包括时间戳、CPU使用率（%）、内存使用率（%）、磁盘读取速率（MB/s）和磁盘写入速率（MB/s）。请确保有权限写入指定的文件路径，并根据实际情况调整间隔时间interval和文件名filename。

监控特定的磁盘

磁盘读写速率监控使用了 psutil.disk_io_counters() 方法，默认情况下，这个方法提供的是整个系统所有磁盘设备的合计I/O统计信息，包括读取和写入的字节数、操作次数等。这意味着，当你运行上述脚本时，它监控的是系统上所有活动磁盘的总体读写速率。

如果你需要针对特定磁盘进行监控，可以指定磁盘名称（通常是其挂载点或设备名称），通过psutil.disk_io_counters(perdisk=True)获取每个磁盘的详细I/O统计信息，然后根据磁盘名称筛选出你感兴趣的那一块磁盘：

def monitor_specific_disk_resources(interval=1):print("开始监控特定磁盘资源...")disks = psutil.disk_io_counters(perdisk=True)  # 获取所有磁盘的I/O统计信息# 初始化特定磁盘的IO计数prev_disk_io = disks['/'] if '/' in disks else Noneif prev_disk_io is None:print("警告：无法找到根目录磁盘的I/O信息。")returnwhile True:current_disk_io = disks['/'] if '/' in disks else Noneif current_disk_io is None:print("警告：在本次检查中丢失了根目录磁盘的I/O信息。")continue# 计算读写速率（字节/秒）read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / intervalwrite_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / interval# 打印读写速率print(f"磁盘'/': 读取速率: {read_bytes_sec / 1024 / 1024:.2f} MB/s, 写入速率: {write_bytes_sec / 1024 / 1024:.2f} MB/s")# 更新前一次的磁盘IO计数prev_disk_io = current_disk_io# CPU和内存监控部分保持不变，这里省略以聚焦于磁盘监控的修改部分# ...# 暂停一段时间再次检查time.sleep(interval)# 调用函数开始监控
monitor_specific_disk_resources(interval=1)