【ELFK】Filebeat+ELK 部署

2024-04-15 04:44

文章标签 部署 elk filebeat elfk

本文主要是介绍【ELFK】Filebeat+ELK 部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Filebeat+ELK 部署

在 Filebeat 节点上操作

环境准备

Node1节点（2C/4G）：node1/192.168.67.11        Elasticsearch  Kibana
Node2节点（2C/4G）：node2/192.168.67.12        Elasticsearch
Apache节点：apache/192.168.67.10               Logstash  Apache
Filebeat节点：filebeat/192.168.67.13           Filebeatsystemctl stop firewalld
systemctl enable firewalld
setenforce 0

1）安装 Filebeat

#上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目录

[root@filebeat opt]# rz -E
rz waiting to receive.
[root@filebeat opt]# ls
filebeat-6.6.1-x86_64.rpm  rh

解压

rpm -ivh filebeat-6.6.1-x86_64.rpm

rpm 默认会安装到/etc/ 目录下；tar安装的filebeat 文件要移动到/user/local/ 下

2）设置 filebeat 的主配置文件

先备份再修改

cd /etc/filebeat/
cp filebeat.yml filebeat.yml.bak

修改filebeat.yml 配置文件

vim filebeat.ymlfilebeat.prospectors:
#指定 log 类型，从日志文件中读取消息
- type: log#设置开机自启enabled: truepaths:#指定监控的日志文件- /var/log/messages- /var/log/*.log#可以使用 fields 配置选项设置一些参数字段添加到 output 中fields:#添加服务器名称、类型和idservice_name: filebeatlog_type: logservice_id: 192.168.67.13--------------Elasticsearch output-------------------
(全部注释掉)----------------Logstash output---------------------
output.logstash:hosts: ["192.168.67.10:5044"]      #指定 logstash 的 IP 和端口

1
1
1
1
1

启动 filebeat

#启动filebeat服务
systemctl start filebeat.service 
#设置开机自启
systemctl enable filebeat.service

报错：filebeat服务起不来

原因：因为我用rpm安装后将filebeat文件移动到了/usr/local/下

查看日志：less /var/log/messages
提示/etc/ 目录下没有filebeat文件

解决：将filebeat文件移动回来后，启动成功

#使用tar安装时用下面的命令启动filebeat

./filebeat -e -c filebeat.yml

4）在 Logstash 组件所在节点上新建一个 Logstash 配置文件

cd /etc/logstash/conf.d

vim /etc/logstash/conf.d/fb_logstash.confinput {beats {#收集filebeat的5044端口数据port => "5044"}
}
output {elasticsearch {hosts => ["192.168.67.11:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}

启动 logstash

logstash -f fb_logstash.conf#指定数据存放路径
logstash -f kafka.conf --path.data=/opt
#绝对路径启动
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/fb_logstash.conf