Elastic Stack（四）：filebeat介绍及安装

2024-08-31 05:36
文章标签 安装 介绍 stack filebeat elastic

本文主要是介绍Elastic Stack（四）：filebeat介绍及安装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 1 filebeat介绍
    • 1.1 filebeat和beat的关系
    • 1.2 filebeat是什么
    • 1.3 filebeat工作原理
    • 1.4 传输方案
  • 2 安装
    • 2.1 filebeat-源码包安装8.1
      • 1、下载
      • 2、创建密钥库
      • 3、修改filebeat配置文件
        • 修改filebeat配置文件（使用模块的配置）
      • 4、配置快速启动文件
        • 注意
      • 5、在kibana中查看

1 filebeat介绍

1.1 filebeat和beat的关系

filebeat是Beats中的一员。
　　Beats是一个轻量级日志采集器，Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。

目前Beats包含六种工具：
1、Packetbeat：网络数据（收集网络流量数据）
2、Metricbeat：指标（收集系统、进程和文件系统级别的CPU和内存使用情况等数据）
3、Filebeat：日志文件（收集文件数据）
4、Winlogbeat：windows事件日志（收集Windows事件日志数据）
5、Auditbeat：审计数据（收集审计日志）
6、Heartbeat：运行时间监控（收集系统运行时的数据）

1.2 filebeat是什么

Filebeat是用于转发和收集日志数据的轻量级传送工具。Filebeat监视你指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash中。

Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

工作的流程图如下：
在这里插入图片描述
Filebeat 有两个主要组件：

  • harvester：一个harvester负责读取一个单个文件的内容。harvester逐行读取每个文件，并把这些内容发送到输出。每个文件启动一个harvester。
  • Input：一个input负责管理harvesters，并找到所有要读取的源。如果input类型是log，则input查找驱动器上与已定义的log日志路径匹配的所有文件，并为每个文件启动一个harvester。

1.3 filebeat工作原理

在任何环境下，应用程序都有停机的可能性。 Filebeat 读取并转发日志行，如果中断，则会记住所有事件恢复联机状态时所在位置。

Filebeat带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

FileBeat 不会让你的管道超负荷。FileBeat 如果是向 Logstash 传输数据，当 Logstash 忙于处理数据，会通知 FileBeat 放慢读取速度。一旦拥塞得到解决，FileBeat将恢复到原来的速度并继续传播。

Filebeat保持每个文件的状态，并经常刷新注册表文件中的磁盘状态。状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。Filebeat将每个事件的传递状态存储在注册表文件中。所以它能保证事件至少传递一次到配置的输出，没有数据丢失

1.4 传输方案

  • output.elasticsearch
    如果你希望使用 filebeat 直接向 elasticsearch 输出数据，需要配置 output.elasticsearch
output.elasticsearch:hosts: ["192.168.92.10:9200"]
  • output.logstash
    如果使用filebeat向 logstash输出数据，然后由 logstash 再向elasticsearch 输出数据，需要配置 output.logstash。 logstash 和 filebeat 一起工作时，如果 logstash 忙于处理数据，会通知FileBeat放慢读取速度。一旦拥塞得到解决，FileBeat 将恢复到原来的速度并继续传播。这样，可以减少管道超负荷的情况。
output.logstash:hosts: ["192.168.40.180:5044"]
  • output.kafka
    如果使用filebeat向kafka输出数据，然后由 logstash 作为消费者拉取kafka中的日志，并再向elasticsearch 输出数据，需要配置 output.logstash
output.kafka:enabled: truehosts: ["192.168.40.180:9092"]topic: elfk8stest

2 安装

2.1 filebeat-源码包安装8.1

1、下载

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.1ls
.0-linux-x86_64.tar.gz
tar xzvf filebeat-8.1.0-linux-x86_64.tar.gz
ln -s filebeat-8.1.0-linux-x86_64 filebeat

2、创建密钥库

cd /usr/local/filebeat
# 创建密钥库
./filebeat keystore create
# 添加密钥
./filebeat keystore add ES_PWD
# 回车后输入elastic的密码
./filebeat keystore list
# 删除密钥
./filebeat keystore remove ES_PWD

3、修改filebeat配置文件

vim /usr/local/filebeat/filebeat.ymlcat filebeat.yml
filebeat.inputs:- type: filestreamenabled: truepaths:- /var/log/*.log
#filebeat.config.modules:
#  path: ${path.config}/modules.d/*.yml
#  reload.enabled: true
output.elasticsearch:hosts: "https://192.168.92.10:9200"username: "elastic"password: "${ES_PWD}"ssl.verification_mode: none
setup.kibana:host: "https://192.168.92.10:5601"username: "elastic"password: "${ES_PWD}"#username: "kibana"#password: "zsnuTKfb_dE18YCbhTCa"  
# 下面的数据先不配置
processors:- add_host_metadata:when.not.contains.tags: forwarded- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~

添加参数的原因：ssl.verification_mode: none
解决报错：
在这里插入图片描述

修改filebeat配置文件（使用模块的配置）
# 因为默认是不可用的，所以需要手动开启
./filebeat modules list
# 从安装目录中，启用一个或多个模块
./filebeat modules enable mysql# 在配置文件filebeat.yml 中设置
- module: nginxaccess:enabled: truevar.paths: ["/var/log/nginx/access.log*"]

4、配置快速启动文件

vi /usr/lib/systemd/system/filebeat.service[Unit]
Description=filebeat
After=network.target
[Service]
Type=simple
#LimitNOFILE=100000
#LimitNPROC=100000
Restart=no
ExecStart=/usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml
PrivateTmp=true
[Install]
WantedBy=multi-user.target
注意

如果是ubuntu系统，glibc版本为2.35，启动filebeat则会报错：Fatal glibc error: rseq registration failed

# ubuntu查看glibc版本
ldd --version 
# GLIBC 2.35 为glibc的版本，版本是2.35
ldd (Ubuntu GLIBC 2.35-0ubuntu3.4) 2.35
Copyright (C) 2022 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

解决：

# 在filebeat配置文件中添加如下内容：
vim filebeat.yml
# 
seccomp:default_action: allow
# 或者以下内容：
seccomp:default_action: errnosyscalls:- action: allownames:- accept- accept4- access- arch_prctl- bind- brk- chmod- chown- clock_gettime- clone- clone3- close- connect- dup- dup2- epoll_create- epoll_create1- epoll_ctl- epoll_pwait- epoll_wait- exit- exit_group- fchdir- fchmod- fchmodat- fchown- fchownat- fcntl- fdatasync- flock- fstat- fstatfs- fsync- ftruncate- futex- getcwd- getdents- getdents64- geteuid- getgid- getpeername- getpid- getppid- getrandom- getrlimit- getrusage- getsockname- getsockopt- gettid- gettimeofday- getuid- inotify_add_watch- inotify_init1- inotify_rm_watch- ioctl- kill- listen- lseek- lstat- madvise- mincore- mkdirat- mmap- mprotect- munmap- nanosleep- newfstatat- open- openat- pipe- pipe2- poll- ppoll- pread64- pselect6- pwrite64- read- readlink- readlinkat- recvfrom- recvmmsg- recvmsg- rename- renameat- rseq- rt_sigaction- rt_sigprocmask- rt_sigreturn- sched_getaffinity- sched_yield- sendfile- sendmmsg- sendmsg- sendto- set_robust_list- setitimer- setsockopt- shutdown- sigaltstack- socket- splice- stat- statfs- sysinfo- tgkill- time- tkill- uname- unlink- unlinkat- wait4- waitid- write- writev

5、在kibana中查看

添加
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查看
在这里插入图片描述

这篇关于Elastic Stack（四）：filebeat介绍及安装的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1123036。

相关文章

MySQL常用字符串函数示例和场景介绍

MySQL常用字符串函数示例和场景介绍

《MySQL常用字符串函数示例和场景介绍》MySQL提供了丰富的字符串函数帮助我们高效地对字符串进行处理、转换和分析,本文我将全面且深入地介绍MySQL常用的字符串函数,并结合具体示例和场景,帮你熟练... 目录一、字符串函数概述1.1 字符串函数的作用1.2 字符串函数分类二、字符串长度与统计函数2.1
阅读更多...
Linux系统中查询JDK安装目录的几种常用方法

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》：本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1：通过update-alternatives查询（推荐）方法 2：检查所有已安装的 JDK方
阅读更多...
SQL Server安装时候没有中文选项的解决方法

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同，并且无论如何都没有中文选项？这个问题也
阅读更多...
2025版mysql8.0.41 winx64 手动安装详细教程

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务，修改密码一、下载安装包安装地
阅读更多...
Redis MCP 安装与配置指南

Redis MCP 安装与配置指南

《RedisMCP安装与配置指南》本文将详细介绍如何安装和配置RedisMCP,包括快速启动、源码安装、Docker安装、以及相关的配置参数和环境变量设置,感兴趣的朋友一起看看吧... 目录一、Redis MCP 简介二、安www.chinasem.cn装 Redis MCP 服务2.1 快速启动（推荐）2.
阅读更多...
在macOS上安装jenv管理JDK版本的详细步骤

在macOS上安装jenv管理JDK版本的详细步骤

《在macOS上安装jenv管理JDK版本的详细步骤》jEnv是一个命令行工具,正如它的官网所宣称的那样,它是来让你忘记怎么配置JAVA_HOME环境变量的神队友,：本文主要介绍在macOS上安装... 目录前言安装 jenv添加 JDK 版本到 jenv切换 JDK 版本总结前言China编程在开发 Java
阅读更多...
Linux下在线安装启动VNC教程

Linux下在线安装启动VNC教程

《Linux下在线安装启动VNC教程》本文指导在CentOS7上在线安装VNC,包含安装、配置密码、启动/停止、清理重启步骤及注意事项,强调需安装VNC桌面以避免黑屏,并解决端口冲突和目录权限问题... 目录描述安装VNC安装 VNC 桌面可能遇到的问题总结描js述linux中的VNC就类似于Window
阅读更多...
虚拟机Centos7安装MySQL数据库实践

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成
阅读更多...
JAVA中安装多个JDK的方法

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置（JAVA_HOME和Path）,并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk（需要登录Oracle账号，没有可以免费注册）下载完
阅读更多...
Java JDK1.8 安装和环境配置教程详解

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址：Java Downloads
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2