grafana+ prometheus+php 监控系统实践

2024-09-07 13:32

本文主要是介绍grafana+ prometheus+php 监控系统实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景

团队在开发流媒体服务,需要实现一个监控在线人数的功能,可以看到历史有多少人在线,当前有多少人在线的功能。
如果用mysql等关系型数据库来实现,可以用事件记录日志,然后通过PHP加上一些绘图的插件来实现,但这种方式并不好,首先用关系型数据库随着时间累积,会存在数据量越来越大,导致查询缓慢,再者需要编写这部分统计代码,因此并不是最佳选择。

我们很快找到了一个“时序性数据库”(prometheus),这种数据库会以时间节点来记录我们要存储的数据,然后结合他的一些绘图功能,我们完全可以不用写绘图的逻辑,而且prometheus还提供数据收集的功能,我们只需要把需要统计的数据按照固定的格式传递就好了。而Grafana是一个专门绘图的,支持很多种数据源,比如mysql,prometheus,es等数据库,绘图功能特别强大,因此我们便使用了这两种软件的结合实现了一个监控功能。

实现过程

两个工具都是英文的,如果英文和我一样不怎么好,建议使用谷歌浏览器的网页翻译功能,可以节省很多时间
操作步骤:
  1. 安装
  2. 数据收集
  3. 收集验证
  4. 绘图配置
  5. 完成
一、安装
1. Grafana

官方安装文档:https://grafana.com/grafana/download

mac下安装
brew install grafana
docker安装
docker run -d --name=grafana -p 3000:3000 grafana/grafana 
2. prometheus

官方安装文档:https://prometheus.io/docs/prometheus/latest/installation/

配置文件

在安装之前我们先建立好配置文件,让安装后可以直接启动,配置文件的模板在官方文档中有,下面是我使用的配置文件,也可以直接使用,记得把配置文件的(#后面的内容删除)

---
global:         #全局配置scrape_interval: 5s   #5秒钟收集一次数据scrape_timeout: 3s    #连接超时时间
scrape_configs: #子配置
- job_name: 'media' # 任务名称为mediascrape_interval: 3s   # 3秒钟收集一次数据metrics_path: "/api/v1/rrd/metrics"   # 收集数据的URIstatic_configs:   #子项配置- targets: ['gslb.offcncloud.com:8080'] #收集数据的目标主机以及端口
mac下安装
brew install prometheus
docker安装

(注意配置文件得我们先建好才能运行下面的命令)

docker run -p 9090:9090 -v /tmp/prometheus.yml:/etc/prometheus/prometheus.yml  prom/prometheus

二、数据收集

1. 解惑

在第一步我们安装prometheus的时候就建立了一个配置文件,其中有一个任务会去收集数据,主机名为(gslb.offcncloud.com:8080),URI地址为(/api/v1/rrd/metrics),因此会不断向 http://gslb.offcncloud.com:8080/api/v1/rrd/metrics 进行请求,来获取数据。

2. 数据格式

这个时候我们需要来了解这个数据的格式是怎么样的,先来看一段我返回的数据格式。

media_network 2
media_connectNum 12 
media_on_push 2

在上面有三行数据,每条数据分别代表不同的key => value ,中间使用空格隔开。
比如:
- 第一个media_network是代表当前的网络延时数量,
- 第二项media_connectNum则是代表当前的用户连接数,
- 第三项media_on_push 则是代表当前的推流人数。

3. 数据来源

上面的这写数据是怎么得来的呢?其实我们的系统当中并不能直接获取到当前的数量,比如连接人数,但是我们可以通过一些日志或者事件来进行统计,比如当有一个人播放视频,那么我们将会在cache中给他+1,当他离线的时候我们则会给他-1,这样便可以得到数量,我们可以来看下下面的伪代码

事件触发计数的代码部分

<?php/*** 计数* @param string $name network|connectNum  要统计的名称* @param bool $type 上线还是离线* @param bool $clean  是否每次清空* @return int|string*/public static function count(string $name, $type = true{//定义名称$name = addslashes($name);$fileName = self::BASEDATA . $name ;//定义累加值$addNum = $type ? 1 : -1;//更新次数$num = "cat  $fileName";$num = intval(exec($num)) + $addNum;//连接数不能小于0$num = ($num < 0) ? 0 : $num;$cmd = "echo $num > $fileName";exec($cmd);return $num;}

prometheus来收集数据的对应代码部分

    public static function getCountNum(){$control_arr = ['network', 'connectNum', 'on_push'];self::createDir();foreach ($control_arr as $path) {//存放临时数据文件$tmp_file = self::BASEDATA . $path;$num = exec("cat $tmp_file");switch ($path) {case 'network'://网络延时数量system("echo 0 > $tmp_file");echo "media_{$path} $num" . PHP_EOL;break;case 'connectNum'://连接数echo "media_{$path} $num" . PHP_EOL;break;case 'on_push'://推流数echo "media_{$path} $num" . PHP_EOL;break;}}}

在计数部分代码会根据用户是上线还是下线来处理不同的逻辑,比如上线数量会+1,下线则会-1

在获取数据部分,会根据不同的类型来处理他的逻辑,比如网络延时数量,会在获取数据后清空为0,而连接数则不在这个位置进行清空

三、数据验证

  1. 前言

经过前面两个步骤,如果是docker安装应该已经启动了,如果是mac安装启动命令为(注意配置文件路径):

 prometheus --config.file=/tmp/prometheus.yml
  1. 验证收集地址正确性

当启动之后,可以打开浏览器访问如下URL地址:

http://127.0.0.1:9090/targets

image

如上图,上面没有绿色的说明连接地址配置成功了,此时prometheus会不断的收集数据

  1. 验证数据格式

接着要验证数据格式是否正确,打开URL地址

http://127.0.0.1:9090/graph?g0.range_input=1h&g0.expr=&g0.tab=0

image

如果能看到我们在代码里面返回的key,便说明数据收集对接成功了

四、绘图配置

  1. 简介

绘图时候我们采用Grafana来进行,因此我们首先得启动它,如果使用docker安装时,此时应该已经启动起来了,如果是mac系统的brew安装,启动命令为

brew services start Grafana

在启动之后,我们打开浏览器,访问URL地址为:

http://192.168.43.34:3000/

image

可以在界面中看到登录框,默认的账号以及密码为 admin admin

  1. 对接数据源

进来之后首先需要进行配置数据来源,数据源的配置如下图

image

点击保存按钮,进行保存并验证,如果没有提示异常说明已经成功了。

  1. 进行绘图

现在已经有数据源了,那我们需要把这些数据展示为图表就很简单了,点击页面中很明显的+号,创建仪表盘,选择graph,如下图

image

接着变回出现一个图表,但是没有任何效果,所以我们需要编辑这个走势图,如下图所示

image

接着下方便会出现图表的配置项,这里我们可以选择数据源,如下图

image

选择数据源之后,我们需要选择使用哪一个字段,并把这个字段改为设置一个中文名称,同时这里可以设置多个字段,如下图

image

配置好之后一定要保存!

完成

  1. 查看效果

限制我们将可以看到效果,如下图

image

这篇关于grafana+ prometheus+php 监控系统实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1145195

相关文章

SpringBoot监控API请求耗时的6中解决解决方案

《SpringBoot监控API请求耗时的6中解决解决方案》本文介绍SpringBoot中记录API请求耗时的6种方案,包括手动埋点、AOP切面、拦截器、Filter、事件监听、Micrometer+... 目录1. 简介2.实战案例2.1 手动记录2.2 自定义AOP记录2.3 拦截器技术2.4 使用Fi

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》:本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1:通过update-alternatives查询(推荐)方法 2:检查所有已安装的 JDK方

Linux系统之lvcreate命令使用解读

《Linux系统之lvcreate命令使用解读》lvcreate是LVM中创建逻辑卷的核心命令,支持线性、条带化、RAID、镜像、快照、瘦池和缓存池等多种类型,实现灵活存储资源管理,需注意空间分配、R... 目录lvcreate命令详解一、命令概述二、语法格式三、核心功能四、选项详解五、使用示例1. 创建逻

Spring Boot Actuator应用监控与管理的详细步骤

《SpringBootActuator应用监控与管理的详细步骤》SpringBootActuator是SpringBoot的监控工具,提供健康检查、性能指标、日志管理等核心功能,支持自定义和扩展端... 目录一、 Spring Boot Actuator 概述二、 集成 Spring Boot Actuat

在Java中使用OpenCV实践

《在Java中使用OpenCV实践》用户分享了在Java项目中集成OpenCV4.10.0的实践经验,涵盖库简介、Windows安装、依赖配置及灰度图测试,强调其在图像处理领域的多功能性,并计划后续探... 目录前言一 、OpenCV1.简介2.下载与安装3.目录说明二、在Java项目中使用三 、测试1.测

MyBatis-Plus 自动赋值实体字段最佳实践指南

《MyBatis-Plus自动赋值实体字段最佳实践指南》MyBatis-Plus通过@TableField注解与填充策略,实现时间戳、用户信息、逻辑删除等字段的自动填充,减少手动赋值,提升开发效率与... 目录1. MyBATis-Plus 自动赋值概述1.1 适用场景1.2 自动填充的原理1.3 填充策略

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类

Olingo分析和实践之OData框架核心组件初始化(关键步骤)

《Olingo分析和实践之OData框架核心组件初始化(关键步骤)》ODataSpringBootService通过初始化OData实例和服务元数据,构建框架核心能力与数据模型结构,实现序列化、URI... 目录概述第一步:OData实例创建1.1 OData.newInstance() 详细分析1.1.1

Olingo分析和实践之ODataImpl详细分析(重要方法详解)

《Olingo分析和实践之ODataImpl详细分析(重要方法详解)》ODataImpl.java是ApacheOlingoOData框架的核心工厂类,负责创建序列化器、反序列化器和处理器等组件,... 目录概述主要职责类结构与继承关系核心功能分析1. 序列化器管理2. 反序列化器管理3. 处理器管理重要方

一文解密Python进行监控进程的黑科技

《一文解密Python进行监控进程的黑科技》在计算机系统管理和应用性能优化中,监控进程的CPU、内存和IO使用率是非常重要的任务,下面我们就来讲讲如何Python写一个简单使用的监控进程的工具吧... 目录准备工作监控CPU使用率监控内存使用率监控IO使用率小工具代码整合在计算机系统管理和应用性能优化中,监