从零搭建Prometheus监控报警系统+Grafana展示（系统监控必备知识）

什么是Prometheus?

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。
2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。
Prometheus目前在开源社区相当活跃。
Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。

基本原理

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。

• 1.演示安装Prometheus Server
• 2.演示通过golang和node-exporter提供metrics接口
• 3.演示pushgateway的使用
• 4.演示grafana的使用
• 5.演示alertmanager的使用

安装准备

这里我的服务器IP是192.168.234.4，登入，建立相应文件夹

mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml
touch /home/chenqionghe/promethues/server/prometheus.yml
chmod 777 /home/chenqionghe/promethues/server/prometheus.yml

安装Prometheus Server

主要涉及到两个配置文件和一个服务：

• prometheus.yml #主配置文件
• rules.yml #告警规则配置文件
• prom/prometheus #包含Prometheus Server可执行程序的docker镜像

   主配置文件prometheus.yml

global:scrape_interval: 15s #默认采集监控数据时间间隔external_labels:monitor: 'my-monitor'
scrape_configs:  #监控对象设置- job_name: prometheus #任务名称scrape_interval: 5s #每隔5s获取一次监控数据static_configs: #监控对象地址- targets: ['127.0.0.1:9090']  # 将自己加入到监控对象中

  告警规则配置文件rules.yml

# 此处暂时不设置，后面Alertmanager章节具体介绍

在docker 运行prometheus

docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

打开浏览器，访问http://192.168.234.4:9090/, 如果显示如下界面，说明prometheus启动成功

通过http://192.168.234.4:9090/metrics可以查看采集的metrics指标

通过golang和node-exporter提供metrics接口

启动node exporter

docker run -d --name=node-exporter -p 9100:9100 prom/node-exporter

修改prometheus.yml文件

将监控对象加入到监控任务中，如下

global:scrape_interval: 15s external_labels:monitor: 'my-monitor'
scrape_configs:  - job_name: prometheus scrape_interval: 5s static_configs: - targets: ['127.0.0.1:9090']  - targets: ['127.0.0.1:9100']  # 配置node-exporter，用于监控主机cpu、内存使用和磁盘等labels:group: 'client-node-exporter'

重启docker中的服务

查看监控信息

首先，重新加载prometheus配置文件，使用如下方式

curl -X POST http://192.168.234.4:9090/-/reload #启动prometheus的时候，必须带web.enable-lifecycle参数

打开浏览器，访问http://192.168.234.4:9090/targets

可以看到，刚才配置的node-exporter已经成功加入到prometheus的targets中。点击该targert（红线链接），可以看到主机cpu监控数据已经可以正常采集：

安装pushgateway

pushgateway是一个单独的服务，启动如下：

docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

打开浏览器http://192.168.234.4:9091/#

安装Grafana展示

我们使用docker安装

docker run -d -p 3000:3000 --name grafana grafana/grafana

登录：192.168.234.4:3000

默认登录账户和密码都是admin，进入后界面如下。搭建完毕！

在数据源中配置前面的Prometheus，

参考：

https://www.cnblogs.com/informatics/p/12215255.htm

https://www.cnblogs.com/chenqionghe/p/10494868.html