使用 Cognos 分析 nmon 采集的 AIX 性能数据

2023-10-31 11:40

本文主要是介绍使用 Cognos 分析 nmon 采集的 AIX 性能数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

李 尚忠, 软件工程师, IBM
李尚忠,IBM 软件工程师,国家软件系统分析师。现在 IBM 中国软件开发中心长期从事存储软件的相关工作。具有丰富的存储技术经验。
徐 贤良, 软件工程师, IBM
徐贤良,GBICC 软件工程师,PMP。长期从事对商业智能相关工作,有相当丰富的商业智能工作经验,对数据仓库相关领域和技术有独到的理解。

简介: nmon 是监控 AIX 和 Linux 性能的免费工具。通过它可以捕获操作系统大量有价值的性能统计信息。而 IBM Cognos 具有非常丰富而灵活的报表展现功能。在本文中,将两者相结合,通过遵循必要的步骤,使得 Cognos 用户方便快捷地创建关于 AIX 性能数据的报告和图表。首先通过 nmon 采集 AIX 的性能数据,然后通过 SHELL 脚本将 nmon 的数据捕获文件转换为 Cognos 识别的格式文件,最后,通过 Cognos 生成 AIX 性能报表。本文方法简便易行,从中既体现了 nmon 数据采集的优势,又充分展现了 Cognos 在报表生成和分析方面的强大功能。

引言

nmon 工具可以为 AIX 和 Linux 性能专家提供监视和分析性能数据的功能。它所监控的操作系统资源比 AIX 和 Linux 操作系统自身提供的一些命令要全面。用五、六个工具做到的事情,通过这一个免费的工具就可以全部做到。所以,很多系统管理员喜欢 nmon,尽管其不是 IBM“正式”支持的工具。

IBM Cognos 提供大量的报告和分析功能,并支持面向服务的体系结构(SOA)。尽管 nmon analyser 作为生成 AIX 性能报告的免费工具,可从 nmon 的输出中生成大量的图形化报告。但是,与 IBM Cognos 相比,其生成的图表报告比较简单,并且由于电子表格的限制建议最多收集 300 个快照。而通过 IBM Cognos 可以有效地整合海量数据并为性能专家提供一个直观的、动态的和友善的界面。方便用户进行详细的 AIX 性能分析和定位,进而能找到问题的所在。此外,还可以支持大批量的快照。本文是针对 AIX 性能数据分析方面所做的一个有益的尝试。

先决条件

本文假设您具有使用 AIX 和 IBM Cognos 的经验,并且能够访问 AIX 和 IBM Cognos 以执行管理任务。

本文假设您安装了以下软件:

  • 运行在 AIX 上的 nmon 工具;
  • 运行在 Windows® 上的 Cognos 8(8.1,8.2,8.3 和 8.4),安装并配置好。
数据采集

运行带 -f 标志的 nmon 命令。有关详细信息,请参阅 nmon -h。但是作为示例,可以尝试运行下面的 nmon 命令来,告知 nmon 创建文件,并每隔 30 秒的时间进行一次数据收集,共采集 180 次(共计 1.5 个小时):

 nmon -f -s 30 -c 180 

-f 表示生成的数据文件名中有时间;

-s 30 表示每 30 秒采集一次数据;

-c 180 表示采集 180 次,30*180=5400 秒,刚好是 1 个半小时的数据,这样运行一次这个程序就会生成一个采集 1 个半小时数据的文件。

该行命令将在当前目录中创建输出文件,其名称为:

 _date_time.nmon 

"hostname" 是这台主机的主机名。

该文件是采用逗号分隔值 (CSV) 的格式。由于 nmon 的输出文件中存在列数不一致的情况,所以这种文件并不能直接导入到 Cognos 中。因此要进行数据转换,生成 Cognos 识别的格式文件。

数据转换

CPU 使用率和磁盘 I/O 速度、传输及读 / 写比率能在很大程度上反映操作系统的综合性能。因此,可以通过编写一个 shell 脚本来转换 nmon 采集到的相关数据,从而方便使用 Cognos 来迅速抽取不同维度的性能概览数据,进而分析 AIX 性能数据。

数据转换脚本的实现

第一步,为了方便用户使用,定义帮助信息。实现代码如下:

清单 1. 帮助信息函数

 #Output helpful information regarding how to use the function and its parameters #  用法#  -h 帮助信息#  -n 指定抽取数据的类别:CPU 或 DISK #  -f 指定 nmon 生成的输出文件help() { echo "usage:  $0 [-h] -n  -f "echo "   -h            FULL help information"echo "   -n Specify the name."echo "      Valid name are: CPU, DISK"echo "   -f Specify the nmon output file."exit 0 } 

第二步,对输入参数进行校验。包括校验输入的参数个数,输入的抽取数据类别,以及输入的 nmon 生成的数据文件名称等等。具体实现代码如下:

清单 2. 输入参数校验

 if [ $# -eq 0 ] then help fi while getopts ":hf:n:" optchar ; do case $optchar in f) filename=$OPTARG ;; n) name=$OPTARG ;; h) help ;; *) error "Invalid option";;      esac done # Ensure that we got a name # 确保输入的抽取数据类别名不为空if [ "${name}" == "" ] ; then error "No name specified"fi # Ensure that we got a filename # 确保输入的 nmon 输出文件名不为空if [ "${filename}" == "" ] ; then error "No filename specified"fi # Ensure that the input file existed # 确保输入的 nmon 输出文件存在if [ ! -f $filename ] ; then  error "$filename does not exist!"fi  if [ -z $filename ] ; then  error "$filename file size is zero"fi  if (test ! -r $filename ) ; then  error "Cannot read file $filename"fi  # Validate the name as one of the names allowable # 校验输入的抽取数据类别名case "$name" in "CPU" )     utputname=${filename}_${name}."csv"echo $outputname echo "CPU,seq,Edate,Etime,User%,Sys%,Wait%,Idle%" > ${outputname} ;;      "DISK" )     utputname=${filename}_${name}."csv"echo $outputname > ${outputname} ;;      "" ) error "No name provided";;        *) error "Invalid name provided";; esac 

第三步,以 nmon 性能工具生成的文件作为输入,然后从中抽取 CPU 使用率和磁盘 I/O 速度、传输及读 / 写比率等性能数据。实现代码如下:

清单 3. 抽取性能数据

 i=0 j=0 t1=""line=""while read line; do # get seqno, Edate, Etime from file head # 从文件头中获取序号、日期、时间if [[ $line == ZZZZ* ]] ; then seq1=`echo $line|awk -F',' '{print $2}'` Edate=`echo $line|awk -F',' '{print $4}'` Etime=`echo $line|awk -F',' '{print $3}'` let j=$j+1 let i=$i+1 continue fi if [ $j -eq 0 ] ; then let i=$i+1 # Special process of meta. data on the DISKXFER # 对 DISKXFER 元数据进行特殊处理if [ $name == "DISK" ] ; then if [[ $line == DISKXFER* ]] ; then thers=`echo $line|cut -d, -f 3-11` echo "DISK,seq,Edate,Etime",$others > ${outputname} fi fi continue fi # processing CPU data # 处理 CPU 数据if [ $name == "CPU" ] ; then if [[ $line == $name* ]] ; then t1=`echo $line|awk -F',' '{print $1}'` seq2=`echo $line|awk -F',' '{print $2}'` thers=`echo $line|cut -d, -f 3-6` if [[ $seq1 == $seq2 ]] ; then echo $t1,$seq1,$Edate,$Etime,$others >> ${outputname} fi let j=$j+1 let i=$i+1 continue fi fi # processing DISK data # 处理 DISK 数据if [ $name == "DISK" ] ; then if [[ $line == DISK* ]] ; then t1=`echo $line|awk -F',' '{print $1}'` seq2=`echo $line|awk -F',' '{print $2}'` thers=`echo $line|cut -d, -f 3-11` if [[ $seq1 == $seq2 ]] ; then echo $t1,$seq1,$Edate,$Etime,$others >> ${outputname} fi let j=$j+1 let i=$i+1 continue fi fi let i=$i+1 done < ${filename} echo $i echo $j 

最后,数据转换脚本在本文中命名为 nmonext.ksh。

数据转换脚本的使用

本文中数据转换脚本使用的 AIX 操作系统的 Level 是 6.1.3.0,使用的 shell 的名称是 Korn Shell。

数据转换脚本的使用分以下三步:

首先,把数据转换脚本 nmonext.ksh 用 ftp 上传到 AIX 机器的 nmon 工具生成输出文件的目录。例如:/home/root/nmon/

然后,执行授权命令:#chmod +x nmonext.ksh

最后,分别运行带不同抽取数据类别(如:CPU 或 DISK)的数据转换脚本 nmonext.ksh。

有关详细信息,请参阅 nmonext.ksh -h。作为示例,可以尝试运行下面的命令来从主机 p5m01 上的文件 p5m01_100310_2359.nmon 中抽取 CPU 使用率:

 nmonext.ksh -n CPU -f p5m01_100310_2359.nmon 

该行命令将在当前目录中创建输出文件,其名称为:

 p5m01_100310_2359.nmon_CPU.csv 

该文件是采用逗号分隔值 (CSV) 的格式,并且能被 Cognos 识别。

然后,尝试运行下面的命令来从主机 p5m01 上的文件 p5m01_100310_2359.nmon 中抽取磁盘 I/O 速度、传输及读 / 写比率:

 nmonext.ksh -n DISK -f p5m01_100310_2359.nmon 

该行命令将在当前目录中创建输出文件,其名称为:

p5m01_100310_2359.nmon_DISK .csv

实际命令执行及输出如下所示:

p5m01> nmonext.ksh -n CPU -f p5m01_100310_2359.nmon
p5m01_100310_2359.nmon_CPU.csv
7943
2520
p5m01> nmonext.ksh -n DISK -f p5m01_100310_2359.nmon
p5m01_100310_2359.nmon_DISK.csv
7943
1080
p5m01>

数据文件的上传

完成上述步骤以后,把数据转换脚本生成的两个 .csv 后缀的数据文件用 ftp 方式上传到装有 Cognos 的 Windows 机器上。

创建 Cube 及生成 AIX 性能报告

Cognos 目录设置

Cube 的设计生成涉及多种文件,为了 cube 开发的规范和逻辑清晰,目录规范设置必不可少。本文中目录设置如下。

+nmon

+csv -- 存放源数据文件

+log -- 存放日志文件

+mdc -- 存放 cube 文件

+mdl -- 存放模型文件

+ppx -- 存放报表文件

+tmp -- 存放临时文件

具体设置方法是,在 Windows 机器上依次点击“开始 - 〉所有程序 - 〉 cognos8- 〉 tools- 〉 PowerPlay Transformer”从而,打开 Cognos PowerPlay Transformer。然后,依次点击

“file- 〉 preferences- 〉 directories”,进入到目录设置:

Models: C:\nmon\mdl

Datasource: C:\nmon\csv

Powercubes: C:\nmon\mdc

Data temporary files(dir1;dir2): C:\nmon\tmp

Models temporary files: C:\nmon\tmp

Log files: C:\nmon\log

创建 CPU Cube 及生成相关 AIX 性能报告

新建模型:

file- 〉 new- 〉 model name: nmon_CPU.mdl

下一步 - 〉 Data source name: 默认 Data source type:delimited-field text with column titles

下一步 - 〉 file name: C:\nmon\csv\ p5m01_100310_2359.nmon_CPU.csv

下一步 - 〉去掉 autodesign

完成 - 〉设计向导退出,出现设计界面。

设计模型:

在设计界面 Datasource 框,seq 和 Edate 字段上右键点击‘删除 column ’,将这两个不用的字段删除。

将 Datasource 框中 CPU 字段拖拽到 demension map 框上部横条处释放,就填加了 CPU 维度。同理将 Etime 字段拖拽到 demension map 框上部横条处释放,填加 Etime 维度。

将 Datasource 框中 User 字段拖拽到 measures 框释放,就填加了 User 指标。同理将字段 Sys、Wait、Idle 拖拽到 measures 框释放,就填加了 Sys、Wait、Idle 指标。如图 1 所示:


图 1 .CPU Cube 设计模型
图 1 .CPU Cube 设计模型

检查模型:

Tools- 〉 check model,检查模型。如果有问题按提示解决模型问题,如果没有问题,会显示“Check model is finished. No problems were found.”。

建立 cube:

Run- 〉 create Powercubes,会生成 cube。

浏览 cube:

Tools- 〉 powerplay。如图 2 所示:


图 2. CPU Cube
图 2. CPU Cube

显示柱状图的方法:

Explore- 〉 swap rows and columns 将行列交换。

将指标拖拽到行区域,然后删除 idle 指标。

Explore- 〉 change to reportor 将工作模式从探查模式转换到报表模式。

删除报表上汇总信息:将鼠标放在报表区 cpu 那一列,按‘ del ’键删除 cpu 汇总信息。Explore- 〉 change display- 〉选择累积柱状图。

通过上述操作以后,可以显示柱状图。如图 3 所示:


图 3 .CPU 分析报告
图 3 .CPU 分析报告

此报表可保存。File- 〉 save- 〉 nmon_CPU.ppx。以后可以打开这个报表查看。

创建 DISK Cube 及生成相关 AIX 性能报告

新建模型:

file- 〉 new- 〉 model name: nmon_DISK.mdl

下一步 - 〉 Data source name: 默认 Data source type:delimited-field text with column titles

下一步 - 〉 file name: C:\nmon\csv\ p5m01_100310_2359.nmon_DISK.csv

下一步 - 〉去掉 autodesign

完成 - 〉设计向导退出,出现设计界面。

设计模型:

在设计界面 Datasource 框,seq 和 Edate 字段上右键点击‘删除 column ’,将这两个不用的字段删除。

将 Datasource 框中 DISK 字段拖拽到 demension map 框上部横条处释放,就填加了 DISK 维度。同理将 Etime 字段拖拽到 demension map 框上部横条处释放,填加 Etime 维度。

将 Datasource 框中 hdisk0 字段拖拽到 measures 框释放,就填加了 hdisk0 指标。同理将字段 hdisk0、hdisk1、hdisk2 拖拽到 measures 框释放,就填加了 hdisk0、hdisk1、hdisk2 指标。如图 4 所示:


图 4. DISK Cube 设计模型
图 4. DISK Cube 设计模型

检查模型:

Tools- 〉 check model, 检查模型。如果有问题按提示解决模型问题,如果没有问题,会显示‘ Check model is finished. No problems were found. ’。

建立 cube:

Run- 〉 create Powercubes,会生成 cube。

浏览 cube:

Tools- 〉 powerplay。如图 5 所示:


图 5. DISK Cube
图 5. DISK Cube

显示折线图的方法:

Explore- 〉 change to reportor 将工作模式从探查模式转换到报表模式。

删除报表上汇总信息:将鼠标放在报表区 DISK 那一行,按‘ del ’键删除 DISK 汇总信息。将鼠标放在报表区 etime 那一列,按‘ del ’键删除 etime 汇总信息。

Explore- 〉 change display- 〉选择多折线。

通过上述操作以后,可以显示折线图图。如图 6 所示:


图 6. DISK 分析报告
图 6. DISK 分析报告

此报表可保存。File- 〉 save- 〉 nmon_DISK.ppx。以后可以打开这个报表查看。

结束语

Cognos 提供了直观和强大的展现和操纵数据的前端,通过它可以很好地对 nmon 采集的 AIX 性能数据进行分析。

原文链接:http://www.ibm.com/developerworks/cn/aix/library/1008_lisz_cognosaix/index.html

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/15082138/viewspace-672106/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/15082138/viewspace-672106/

这篇关于使用 Cognos 分析 nmon 采集的 AIX 性能数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/congao1735/article/details/100303921
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/315112

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异(双破折号误写)导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1:原因2:操作3:报错5:解决问题:确认卷组名称​6:再次操作7:验证扩展是否成功8:问题已解

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构