Pormetheus - Pushgateway创建方法(实例:每10秒统计TCP_WAIT状态连接数)

本文主要是介绍Pormetheus - Pushgateway创建方法(实例:每10秒统计TCP_WAIT状态连接数),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Pormetheus - Pushgateway(

    • 介绍
      • 一、Pushgateway 安装
      • 二、prometheus 命令行格式
        • 1、命令行使用
        • 2、命令行过滤
        • 3、数值过滤
      • 三、自定义编写脚本的方法,pushgateway 采集数据
      • 四、结合crontab 反复执行

介绍

pushgateway 是一种采用被动推送的方式(而不是 exporter主动获取)获取监控数据的 prometheus 插件

一、Pushgateway 安装

官网地址:https://prometheus.io/download/#pushgateway

github地址:https://github.com/prometheus/pushgateway

daemonize 后台运行

daemonize -c /root/pushgateway-1.2.0.linux-amd64 /root/pushgateway-1.2.0.linux-amd64/pushgateway

配置文件: /usr/local/prometheus/prometheus.yml
在这里插入图片描述

放行数据端口:

firewall-cmd --add-port=9090/tcp
firewall-cmd --add-port=9100/tcp
firewall-cmd --add-port=9091/tcp
firewall-cmd --add-port=9092/tcp

访问 Pushgateway: 正常 Metrics 里面是没有数据的,下图是两个节点提交过 数据之后的显示结果

http://192.168.168.11:9091/
在这里插入图片描述


二、prometheus 命令行格式

1、命令行使用

选用一个 新的Key 来做讲解

count_netstat_wait_connections (TCP 等待连接数)

自行编写的脚本 + pushgateway的方法,推送到 prometheus server 采集。是一个 guage 类型的数据。

在这里插入图片描述

gauge 类型的数据只输入 key 键名,就会直接形成人性化监控图。

gauge 类型的数据,相对于counter类型的数据,使用起来相对容器的多。需要很多函数来进行修饰,如:rate()、increase() 进行计算之后,才能获取人性化监控图。


2、命令行过滤

在这里插入图片描述

如图所示,{ } 当中的部分属于: "标签"

  • 标签主要用于采集数据,可以自定义标签的键值对,也可以使用默认的 exporter 提供的标签项。
  • 上图标签中最重要的 exported_instance="log" 指定被监控主机名为 “log”。
  • 在命令行上如果想要在基础之上进行过滤,就可以使用{ } 做第一步的过滤。
    count_netstat_wait_connections{exported_instance="log"}

标签精确过滤 =

例:匹配 log 主机名 exported_instance='log'

标签模糊过滤 =~

例:匹配 web. 开头的主机名 exported_instance=~"web."

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d1zebVQT-1594101780396)(C:\Users\86156\Pictures\prometheus\批注 2020-07-06 192424.png)]


3、数值过滤

想要找出 wait_connection 数量 大于400

count_netstat_wait_connections{exported_instance=~"web.*"} > 400
在这里插入图片描述


三、自定义编写脚本的方法,pushgateway 采集数据

pushgateway 本身是没有任何抓取监控数据的功能的,它只是被动的等待推送。

实例:抓取 TCP waiting_connection 等待连接数量

vim /usr/local/pushgateway/shell/waiting_connection.sh


#!/bin/bash
instance_name=`hostname -f` # instance_name 取出主机名if [ $instance_name == "localhost" ];   #要求主机名不能是 localhost,没法区分
then
echo "Mush FQDN hostname"
exit 1
fi#For waitting connectionslabel="count_netstat_wait_connections"  # 定义 prometheus 命令行标签count_netstat_wait_connections=`netstat -anpt | grep -i wait | wc -l`   #定义一个新的数值,统计 TCP_WAIT 的连接数echo "$label:$count_netstat_wait_connections" # 输出格式:key/value(标签:取出的数值)echo "$label  $count_netstat_wait_connections" | curl --data-binary @-  http://192.168.168.11:9091/metrics/job/pushgateway/instance/$instance_name#最后把 key/value 推送给 pushgateway
#curl --data-binary : 将 HTTP POST请求中的数据发送给 pushgateway 服务器,与用户提交HTML表单时浏览的行为完全一样。
#HTTP POST 请求中的数据为纯 二进制数据。


以上脚本中最重要的是:

1、count_netstat_wait_connections=`netstat -anpt | grep -i wait | wc -l`

提取通过 linux 命令行获取到的 监控 TCP_WAIT 的数据

2、curl --data-binary @- http://192.168.168.11:9091/metrics/job/pushgateway/instance/$instance_name

  • 用 POST 方式 把 key/value 推送给 pushgateway的URL地址
  • curl --data-binary:将 HTTP POST请求中的数据发送给 pushgateway 服务器
  • http://192.168.168.11:9091/metrics/job/pushgateway:pushgateway URL的主 location
  • job/pushgateway:第二部分第一个标签,推送到哪一个 prometheus.yml 定义的job里
  • instance/$instance_name:第二个标签,推送后显示的 机器名是什么


四、结合crontab 反复执行

重点:重启 prometheus 服务,能够在 prometheus:9090/targets 当中看到 pushgateway
在这里插入图片描述

测试提交数据,查看是否成功

[root@node1 ~]# sh waiting_connection.sh
count_netstat_wait_connections:2 只显示结果,不出现报错为 真

结合 Crontab -e ,每分钟执行一次检测,并将结果提交到 pushgateway。

crontab -e

* * * * * sh /usr/local/pushgateway/waiting_connection.sh #每分钟执行一次

#如果想要按照秒钟来执行,按照以下来写

* * * * * sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 10;sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 20;sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 30;sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 40;sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 50;sh /usr/local/pushgateway/waiting_connection.sh

在这里插入图片描述

在这里插入图片描述

这篇关于Pormetheus - Pushgateway创建方法(实例:每10秒统计TCP_WAIT状态连接数)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/468361

相关文章

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

SpringBoot+RustFS 实现文件切片极速上传的实例代码

《SpringBoot+RustFS实现文件切片极速上传的实例代码》本文介绍利用SpringBoot和RustFS构建高性能文件切片上传系统,实现大文件秒传、断点续传和分片上传等功能,具有一定的参考... 目录一、为什么选择 RustFS + SpringBoot?二、环境准备与部署2.1 安装 RustF

python获取指定名字的程序的文件路径的两种方法

《python获取指定名字的程序的文件路径的两种方法》本文主要介绍了python获取指定名字的程序的文件路径的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 最近在做项目,需要用到给定一个程序名字就可以自动获取到这个程序在Windows系统下的绝对路径,以下

JavaScript中的高级调试方法全攻略指南

《JavaScript中的高级调试方法全攻略指南》什么是高级JavaScript调试技巧,它比console.log有何优势,如何使用断点调试定位问题,通过本文,我们将深入解答这些问题,带您从理论到实... 目录观点与案例结合观点1观点2观点3观点4观点5高级调试技巧详解实战案例断点调试:定位变量错误性能分

Python中 try / except / else / finally 异常处理方法详解

《Python中try/except/else/finally异常处理方法详解》:本文主要介绍Python中try/except/else/finally异常处理方法的相关资料,涵... 目录1. 基本结构2. 各部分的作用tryexceptelsefinally3. 执行流程总结4. 常见用法(1)多个e

C++统计函数执行时间的最佳实践

《C++统计函数执行时间的最佳实践》在软件开发过程中,性能分析是优化程序的重要环节,了解函数的执行时间分布对于识别性能瓶颈至关重要,本文将分享一个C++函数执行时间统计工具,希望对大家有所帮助... 目录前言工具特性核心设计1. 数据结构设计2. 单例模式管理器3. RAII自动计时使用方法基本用法高级用法

JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法

《JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法》:本文主要介绍JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法,每种方法结合实例代码给大家介绍的非常... 目录引言:为什么"相等"判断如此重要?方法1:使用some()+includes()(适合小数组)方法2

JWT + 拦截器实现无状态登录系统

《JWT+拦截器实现无状态登录系统》JWT(JSONWebToken)提供了一种无状态的解决方案:用户登录后,服务器返回一个Token,后续请求携带该Token即可完成身份验证,无需服务器存储会话... 目录✅ 引言 一、JWT 是什么? 二、技术选型 三、项目结构 四、核心代码实现4.1 添加依赖(pom

504 Gateway Timeout网关超时的根源及完美解决方法

《504GatewayTimeout网关超时的根源及完美解决方法》在日常开发和运维过程中,504GatewayTimeout错误是常见的网络问题之一,尤其是在使用反向代理(如Nginx)或... 目录引言为什么会出现 504 错误?1. 探索 504 Gateway Timeout 错误的根源 1.1 后端

MySQL 表空却 ibd 文件过大的问题及解决方法

《MySQL表空却ibd文件过大的问题及解决方法》本文给大家介绍MySQL表空却ibd文件过大的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录一、问题背景:表空却 “吃满” 磁盘的怪事二、问题复现:一步步编程还原异常场景1. 准备测试源表与数据