ELK(八)—Metricbeat部署

2023-12-20 13:15
文章标签 部署 elk metricbeat

本文主要是介绍ELK(八)—Metricbeat部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 介绍
  • 修改配置文件
    • 启动
  • Module
    • nginx开启状态查询
    • 配置Nginx module
    • 查看是否配置成功

介绍

image-20231213150301695

Metricbeat 是一个轻量级的开源度量数据收集器,用于监控系统和服务。它由 Elastic 公司开发,并作为 Elastic Stack(Elasticsearch、Logstash、Kibana 以及 Beats)的一部分,用于收集、分析和可视化不同类型的度量数据。Metricbeat 主要专注于收集主机级别的度量数据,例如系统 CPU 使用率、内存使用率、磁盘使用率等。

以下是 Metricbeat 的一些关键特性和详解:

  1. 轻量级: Metricbeat 被设计成轻量级和高效的度量数据收集器。它使用 Go 语言编写,占用资源较少,适用于部署在各种环境中。

  2. 模块化: Metricbeat 使用模块来支持各种不同的数据源。每个模块都包含了针对特定应用或服务的配置和度量指标收集逻辑。这种模块化的设计使得 Metricbeat 很容易扩展和配置。

  3. 预定义的模块: Metricbeat 提供了一系列预定义的模块,用于收集常见的度量数据,包括系统级别、数据库、Web 服务器、云服务等。例如,有 Elasticsearch、MySQL、Nginx 等模块,可以方便地配置并收集相关的性能指标。

  4. 实时度量: Metricbeat 支持实时度量数据的收集和传输。它可以将采集到的度量数据发送到 Elasticsearch、Logstash 或者其他输出目的地,以便进行实时监控和分析。

  5. 可视化: Metricbeat 与 Kibana 集成,允许用户使用 Kibana 创建仪表板并可视化收集到的度量数据。这使得用户能够更直观地了解系统和服务的性能。

  6. 安全性: Metricbeat 提供了安全性配置选项,支持加密和身份验证,以确保数据传输的安全性。

  7. 跨平台: Metricbeat 可以运行在多种操作系统上,包括 Linux、Windows、Mac 等,适用于不同的部署场景。

Metricbeat 的工作流程通常包括以下步骤:

  • 配置: 配置 Metricbeat,指定要收集的模块和相关的设置,例如目标 Elasticsearch 集群地址、输出目的地等。

  • 启动: 启动 Metricbeat,它开始按照配置文件中定义的频率收集和发送度量数据。

  • 传输: Metricbeat 将收集到的度量数据传输到指定的目的地,通常是 Elasticsearch。

  • 可视化: 使用 Kibana 创建仪表板,通过图表和可视化工具查看和分析度量数据。

通过 Metricbeat,用户可以实时监控系统的性能、资源利用率、服务运行状况等,从而及时发现问题并进行调整和优化。

修改配置文件

# 移动到该目录下
cd /opt/elk
# 下载文件
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-8.11.3-linux-x86_64.tar.gz
# 解压文件
tar -zxvf  metricbeat-8.8.1-linux-x86_64.tar.gz
# 修改文件名
mv  metricbeat-8.11.3-linux-x86_64.tar.gz metricbeat

修改配置文件

vim metricbeat.yml

添加如下内容:

metricbeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: false
setup.template.settings:index.number_of_shards: 3index.codec: best_compression
setup.kibana:
output.elasticsearch:hosts: ["192.168.150.190:9200","192.168.150.189:9200","192.168.150.190:9200"]   	# 只需要改这里就可以了,把集群的ip以及对应的端口添加上就可以了。
processors:- add_host_metadata: ~- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~

image-20231213152658629

启动

在配置完成后,我们通过如下命令启动即可。

./metricbeat -e

image-20231213152848628

在ELasticsearch中可以看到,系统的一些指标数据已经写入进去了:
下面看到的是系统的架构。

image-20231213153020671

Module

Metricbeat Module的用法和我们之前的filebeat的用法差不多

#查看列表
./metricbeat modules list 

image-20231213153232746

同样的,Metricbeat有两个与模块相关的目录,从目录就可以知道了,hh

image-20231213153400668

这里我们进入modules.d目录,可以看到模块的配置文件。

这里查看system的配资文件,如下;

image-20231213153501476

nginx开启状态查询

在nginx中,需要开启状态查询,才能查询到指标数据。

./configure --prefix=/usr/local/nginx --with-http_stub_status_module 编译安装的是需要有这样一项才可以。

nginx已经在上一节中安装部署好了,这里我们看nginx的信息,可以看到已经开启了状态查询。

[root@elk_master sbin]# ./nginx -V
nginx version: nginx/1.25.0
built by gcc 8.5.0 20210514 (Red Hat 8.5.0-21) (GCC)
built with OpenSSL 1.1.1k  FIPS 25 Mar 2021
TLS SNI support enabled
configure arguments: --prefix=/usr/local/ydhnginx --user=yandonghao --with-http_ssl_module --with-http_v2_module --with-threads --with-http_stub_status_module --with-stream

接下来,我们需要修改nginx的配置文件。

image-20231213154314891

配置文件修改完成后,我们需要重新启动nginx。

然后导浏览器中进行访问。

image-20231213154431401

配置Nginx module

Metricbeat启动nginx模块

./metricbeat modules enable nginx

修改配置文件

vim modules.d/nginx.yml

具体配置如下:

image-20231213160506002

启动

./metricbeat -e

查看是否配置成功

我们能看到,我们的nginx数据已经成功的采集到我们的系统中了

image-20231213161012495

可以看到,nginx的指标数据已经写入到了Elasticsearch。

这篇关于ELK(八)—Metricbeat部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/516185

相关文章

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程:创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译(设置GOOS为linux生成无后缀二进制文件),上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1:安装并配置mariadb步骤 2:安装Zabbix 7.0 Server

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.

Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例

《Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx

ubuntu如何部署Dify以及安装Docker? Dify安装部署指南

《ubuntu如何部署Dify以及安装Docker?Dify安装部署指南》Dify是一个开源的大模型应用开发平台,允许用户快速构建和部署基于大语言模型的应用,ubuntu如何部署Dify呢?详细请... Dify是个不错的开源LLM应用开发平台,提供从 Agent 构建到 AI workflow 编排、RA

ubuntu16.04如何部署dify? 在Linux上安装部署Dify的技巧

《ubuntu16.04如何部署dify?在Linux上安装部署Dify的技巧》随着云计算和容器技术的快速发展,Docker已经成为现代软件开发和部署的重要工具之一,Dify作为一款优秀的云原生应用... Dify 是一个基于 docker 的工作流管理工具,旨在简化机器学习和数据科学领域的多步骤工作流。它

Nginx部署React项目时重定向循环问题的解决方案

《Nginx部署React项目时重定向循环问题的解决方案》Nginx在处理React项目请求时出现重定向循环,通常是由于`try_files`配置错误或`root`路径配置不当导致的,本文给大家详细介... 目录问题原因1. try_files 配置错误2. root 路径错误解决方法1. 检查 try_f

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小