通过prometheus监控Tomcat运行状态的操作流程

本文主要是介绍通过prometheus监控Tomcat运行状态的操作流程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《通过prometheus监控Tomcat运行状态的操作流程》文章介绍了如何安装和配置Tomcat,并使用Prometheus和TomcatExporter来监控Tomcat的运行状态,文章详细讲解了...

Tomcat安装配置以及prometheus监控Tomcat

Tomcat本身无法对外提供Prometheus所兼容的Metrics，因此需要借助第三方exporter来提供：tomcat-exporter
https://github.com/nlighten/tomcat_exporter

通过prometheus监控Tomcat运行状态的操作流程

一. 安装并配置tomcat

1、安装tomcat

yum install tomcat tomcat-webapps -y

通过prometheus监控Tomcat运行状态的操作流程

2、然后下载依赖包

我们可以看到官方介绍，需要很多依赖包

通过prometheus监控Tomcat运行状态的操作流程

wget https://search.maven.org/remotecontent?filepath=io/prometheus/simpleclient/0.12.0/simpleclient-0.12.0.jar
wget https://search.maven.org/remotecontent?filepath=io/prometheus/simpleclient_co编程mmon/0.12.0/simpleclient_common-0.12.0.jar
wget https://search.maven.org/remotecontent?filepath=io/prometheus/simpleclient_hotspot/0.12.0/simpleclient_hotspot-0.12.0.jar
wget https://search.maven.org/remotecontent?filepath=io/prometheus/simpleclient_servlet/0.12.0/simpleclient_servlet-0.12.0.jar
wget https://search.maven.org/remotecontent?filepath=io/prometheus/simpleclient_servlet_common/0.12.0/simpleclient_servlet_common-0.12.0.jar
wget https://search.maven.org/remotecontent?filepath=nl/nlighten/tomcat_exporter_client/0.0.15/tomcat_exporter_client-0.0.15.jar
wget https://search.maven.org/remotecontent?filepath=nl/nlighten/tomcat_exporter_servlet/0.0.15/tjavascriptomcat_exporter_servlet-0.0.15.war

当然也可以一次性全部下载

git clone https://github.com/littlefun91/tomcat-exporter.git

通过prometheus监控Tomcat运行状态的操作流程

3、将jar包和war包分别拷贝至对应的目录下

[root@jingtian03 tomcat_exporter ]#cp *.jar /usr/share/tomcat/lib/
[root@jingtian03 tomcat_exporter ]#cp *.war /usr/share/tomcat/webapps/

启动后，metrics.war自动解压

通过prometheus监控Tomcat运行状态的操作流程

4、启动Tomcat

systemctl start tomcat.service

查看运行状态

通过prometheus监控Tomcat运行状态的操作流程

5、访问tomcat的metrics

http://10.10.0.32:8080/metrics/

通过prometheus监控Tomcat运行状态的操作流程

6、配置prometheus

编辑prometheus配置文件，将Tomcat纳入监控

  - job_name: "tomcat"
    static_configs:
      - targets: ["jingtian03:8080"]

重新加载prometheus配置文件

curl -X POST http://localhost:9090/-/reload

检查Prometheus的Status->Targets页面，验证Tomcat是否已经成功纳入监控中

通过prometheus监控Tomcat运行状态的操作流程

可以看到Tomcat相关指标

通过prometheus监控Tomcat运行状态的操作流程

二. Tomcat常用指标与示例

对于 Tomcat，我们通常会使用RED 方法，监控请求速率（Rate）、请求失败数（Errors）、请求延迟（Duration）来评估当前服务的质量。

1.Tomcat连接相关指标

通过prometheus监控Tomcat运行状态的操作流程

最大连接数可以修改

通过prometheus监控Tomcat运行状态的操作流程

在/usr/share/tomcat/conf/server.XML中修改

通过prometheus监控Tomcat运行状态的操作流程

重启tomcat，再看下

通过prometheus监控Tomcat运行状态的操作流程

案例：计算Tomcat的最大活动连接数的饱和度，计算公式：当前活跃连接数/ 最大活跃连接数 * 100

tomcat_connections_active_total / tomcat_connections_active_max * 100

通过prometheus监控Tomcat运行状态的操作流程

2. Tomcat请求相关指标

通过prometheus监控Tomcat运行状态的操作流程

tomcat_requestprocessor_time_seconds Tomcat服务器处理请求所花费的总时间（单位是秒）虽然显示是gauge类型指标，但它的值却是不断累加的

通过prometheus监控Tomcat运行状态的操作流程

案例1：计算Tomcat最近5分钟，Http请求的错误率占比Http请求总数的比率。计算公式：每5分钟的错误请求数 / 每5分钟的总请求数 * 100

rate(tomcat_requestprocessor_error_count_total[5m]) / rate(tomcat_requestprocessor_request_count_total[5m]) * 100

案例2：计算Tomcat最近5分钟，处理每个请求所需要花费的时间。
这个本来标注的是gauge类型的数据，但是其值是一直在增大的，因此可以使用irate()来求最近5分钟内，每个请求所花费的时间

irate(tomcat_requestprocessor_time_seconds[5m])

通过prometheus监控Tomcat运行状态的操作流程

3.Tomcat会话相关指标

通过prometheus监控Tomcat运行状态的操作流程

案例1：计算Tomcat创建会话的速率。

sum (rate(tomcat_session_created_total[5m])) by (instance,job,host)

案例2：计算被拒绝创建的会话占总创建会话的比率。计算公式：（拒绝的会话数 / (创建的会话数 + 拒绝会话数) * 100 ）

(tomcat_session_rejected_total / ( tomcat_session_created_total + tomcat_session_rejected_total )python) * 100

4.Tomcat线程相关指标

通过prometheus监控Tomcat运行状态的操作流程

允许的最大线程数，也是可以配置的

通过prometheus监控Tomcat运行状态的操作流程

默认是200

通过prometheus监控Tomcat运行状态的操作流程

案例1：计算Tomcat活跃的请求线程数占总请求的线程数比率。计算公式：当前活跃线程数 / 最大的线程数 * 100

(tomcat_threads_active_total / tomcat_threads_max) * 100

三. Tomcat告警规则文件

1、具体告警规则示例文件（可以根据公司实际情况进行调整）

cat /etc/prometheus/rules/tomcat_rules.yml

groups:
- name: tomcat告警规则
  rules:
  - alert: Tomcat活跃连接数过高
    expr: tomcat_connections_active_total / tomcat_connections_active_max* 100 >=80
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "Tomcat服务器活跃连接数过高, 实例:{{ $labels.instance }}"
      description:
        Tomcat最大连接数是 {{ printf `tomcat_connections_active_max{instance="%s",job="%s",name="%s"}` $labels.instance $labels.job $labels.name | query | first | value }} Tomcat目前连接数是 {{ printf `tomcat_connections_active_total{instance="%s",job="%s",name="%s"}` $labels.instance $labels.job $labels.name | query | first | value }} Tomcat活跃连接数已超过最大活跃连接数的80%, 当前值为 {{ $value }}%
  - alert: Tomcat处理请求超过5秒
    expr: rate(tomcat_requestprocessor_time_seconds[5m]) > 5
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "Tomcat处理请求时间过长, 实例:{{ $labels.instance }}"
      description: "Tomcat在过去5分钟的平均处理请求时间超过5秒，当前值 {{ $value}}。"
  - alert: "Tomcat会话拒绝率超过20%"
    expr: (tomcat_session_rejected_total / (tomcat_session_created_total +tomcat_session_rejected_total)) * 100 > 20
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "Tomcat会话拒绝率过高, 实例:{{ $labels.instance }}"
      description: "Tomcat在Host:{{ $labels.host }} 的 {{ $labels.context}} 的上下文中的会话拒绝率超过20%，当前值 {{ $value }}。"
android
  - alert: "Tomcat线程使用率过高"
    expr: (tomcat_threads_active_total / tomcat_threads_max) * 100 > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "Tomcat线程使⽤率过⾼, 实例:{{ $labels.instance }}"
      description: Tmcat最大线程数是 {{ printf `tomcat_threads_max{instance="%s",job="%s",name="%s"}` $labels.instance $labels.job $labels.name | query | first| value }} Tomcat目前线程数是 {{ printf `tomcat_threads_active_total{instance="%s",job="%s",name="%s"}` $labels.instance $labels.job $labels.name | query | first | value }} Tomcat线程数已超过最大活跃连接数的80%, 当前值为 {{ $value }}%