Elastic Stack（三）：Logstash介绍及安装

2024-08-31 05:44
文章标签 安装 介绍 stack logstash elastic

本文主要是介绍Elastic Stack（三）：Logstash介绍及安装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 1 Logstash介绍
    • 1.1 组件介绍
    • 1.2 Logstash 工作原理
  • 2 Logstash安装
    • 2.1 logstash-源码包安装8.1.0
      • 1、logstash安装
      • 2、创建配置文件
      • 3、启动
      • 4、配置快速启动文件

1 Logstash介绍

1.1 组件介绍

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。

Logstash注意有三部分

  • 输入：采集各种样式、大小和来源的数据

    • 数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从你的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

  • 过滤器：实时解析和转换数据

    • 数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

  • 输出：选择你的存储，导出你的数据

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

  • 1、利用 Grok 从非结构化数据中派生出结构
  • 2、从 IP 地址破译出地理坐标
  • 3、将 PII 数据匿名化，完全排除敏感字段
  • 4、整体处理不受数据源、格式或架构的影响

尽管 Elasticsearch 是首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。Logstash 提供众多输出选择，你可以将数据发送到你要指定的地方。

1.2 Logstash 工作原理

在这里插入图片描述
Logstash 有两个必要元素：input 和 output ，一个可选元素：filter。 这三个元素，分别代表 Logstash 事件处理的三个阶段：输入 > 过滤器 > 输出

Input负责从数据源采集数据。
filter 将数据修改为你指定的格式或内容。
output 将数据传输到目的地。

在实际应用场景中，通常输入、输出、过滤器不止一个。Logstash 的这三个元素都使用插件式管理方式，可以根据应用需要，灵活的选用各阶段需要的插件，并组合使用。

  • 常用input模块：Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，可从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
    • file：从文件系统上的文件读取
    • syslog：在众所周知的端口514上侦听系统日志消息，并根据RFC3164格式进行解析
    • redis：从redis服务器读取，使用redis通道和redis列表。 Redis经常用作集中式Logstash安装中的“代理”，它将接收来自远程Logstash“托运人”的Logstash事件排队。
    • beats：处理由Filebeat发送的事件。
  • 常用的filter模块：过滤器是Logstash管道中的中间处理设备。可以将条件过滤器组合在一起，对事件执行操作。
    • grok：解析和结构任意文本。 Grok目前是Logstash中将非结构化日志数据解析为结构化和可查询的最佳方法。
    • mutate：对事件字段执行一般转换。可以重命名，删除，替换和修改事件中的字段。
    • drop：完全放弃一个事件，例如调试事件。
    • clone：制作一个事件的副本，可能会添加或删除字段。
    • geoip：添加有关IP地址的地理位置的信息
  • 常用output模块
    • elasticsearch：将事件数据发送给 Elasticsearch（推荐模式）。
    • file：将事件数据写入文件或磁盘。
    • graphite：将事件数据发送给 graphite（一个流行的开源工具，存储和绘制指标， http://graphite.readthedocs.io/en/latest/）。
    • statsd：将事件数据发送到 statsd （这是一种侦听统计数据的服务，如计数器和定时器，通过UDP发送并将聚合发送到一个或多个可插入的后端服务）。
  • 常用code插件
    • json：以JSON格式对数据进行编码或解码。
    • multiline：将多行文本事件（如java异常和堆栈跟踪消息）合并为单个事件。

2 Logstash安装

2.1 logstash-源码包安装8.1.0

1、logstash安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.1.0-linux-x86_64.tar.gz
tar zxvf logstash-8.1.0-linux-x86_64.tar.gz
ln -s logstash-8.1.0 logstash
# 测试
./bin/logstash  -e 'input { stdin { } } output { stdout {} }' 
# 执行后会提示input，手动输入：input，则会有输出，过程如下：

在这里插入图片描述

2、创建配置文件

# 在logstash目录下执行
mkdir /root/logstash-8.1.0/config/certs
scp root@192.168.92.10:/usr/local/elasticsearch-8.1.0/config/certs/http.p12 /root/logstash-8.1.0/config/certs/http.p12vim pipe.confinput {opensearch {hosts       => ["http://192.168.92.11:9200"]#user        => "admin"#password    => "admin"#index       => "logstash-logs-%{+YYYY.MM.dd}"query       => '{ "query": { "match_all": {} } }'}
}output {stdout{codec => rubydebug}elasticsearch {hosts => ["https://192.168.92.10:9200"]index => "opensearch-%{+YYYY.MM.dd}"user => "elastic"password => "ZuyB*Pt9-nbg-UjmnI0u"ssl_certificate_verification => truetruststore => "/root/logstash-8.1.0/config/certs/http.p12"truststore_password => ""}
}

参数解释：

  • ssl_certificate_verification => true代表启用SSL
  • truststore配置的elasticsearch首次启动生成的证书，它是一个使用PKCS＃12（公钥密码标准＃12）加密的数字证书，存放在elasticsearch主目录下的config/certs目录
  • ruststore_password是truststore的密码，可以采用bin目录下的elasticsearch-keystore工具获取到

注意：

  • 1.如果logstash和elasticsearch不在同一个服务器上面，需要把elasticsearch上的http.p12复制logstash上面
  • 2.如果在生成http.p12时使用密码，可参考如下方式获取：
[elastic@node1 elasticsearch-8.4.3]$ ./bin/elasticsearch-keystore list
warning: ignoring JAVA_HOME=/usr/local/jdk-17.0.5; using bundled JDK
keystore.seed
xpack.security.http.ssl.keystore.secure_password
xpack.security.transport.ssl.keystore.secure_password
xpack.security.transport.ssl.truststore.secure_password
[elastic@node1 elasticsearch-8.4.3]$ ./bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password
warning: ignoring JAVA_HOME=/usr/local/jdk-17.0.5; using bundled JDK
EDkicmcvTIaby_aFALRl3w

3、启动

# 启动测试：
./bin/logstash -f pipe.conf --config.reload.automatic# --config.reload.automatic：会自动加载配置文件，不需要重复启动logstash进程

4、配置快速启动文件

# 关掉上面的测试进程，配置快速启动文件
vim /usr/lib/systemd/system/logstash.service
[Unit]
Description=logstash
After=network.target
[Service]
Type=simple
#LimitNOFILE=100000
#LimitNPROC=100000
Restart=no
ExecStart=/root/logstash-8.1.0/bin/logstash -f /usr/local/logstash-8.1.0/pipe.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target# 启动
sudo systemctl daemon-reload 
sudo systemctl start logstash.service

这篇关于Elastic Stack（三）：Logstash介绍及安装的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1123050。

相关文章

Python UV安装、升级、卸载详细步骤记录

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》：本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见：https://docs.astral.sh/
阅读更多...
Nexus安装和启动的实现教程

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》：本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接：DownloadWindows系统根
阅读更多...
MybatisPlus service接口功能介绍

MybatisPlus service接口功能介绍

《MybatisPlusservice接口功能介绍》：本文主要介绍MybatisPlusservice接口功能介绍,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录Service接口基本用法进阶用法总结：Lambda方法Service接口基本用法MyBATisP
阅读更多...
Java SWT库详解与安装指南(最新推荐)

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》：本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.
阅读更多...
MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)

MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)

《MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)》掌握多表联查(INNERJOIN,LEFTJOIN,RIGHTJOIN,FULLJOIN)和子查询（标量、列、行、表子查询、相关/非相关、... 目录第一部分：多表联查 (JOIN Operations)1. 连接的类型 (JOIN Types)
阅读更多...
安装centos8设置基础软件仓库时出错的解决方案

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》：本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas
阅读更多...
java中BigDecimal里面的subtract函数介绍及实现方法

java中BigDecimal里面的subtract函数介绍及实现方法

《java中BigDecimal里面的subtract函数介绍及实现方法》在Java中实现减法操作需要根据数据类型选择不同方法,主要分为数值型减法和字符串减法两种场景,本文给大家介绍java中BigD... 目录Java中BigDecimal里面的subtract函数的意思？一、数值型减法（高精度计算）1.
阅读更多...
Pytorch介绍与安装过程

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优
阅读更多...
conda安装GPU版pytorch默认却是cpu版本

conda安装GPU版pytorch默认却是cpu版本

《conda安装GPU版pytorch默认却是cpu版本》本文主要介绍了遇到Conda安装PyTorchGPU版本却默认安装CPU的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录一、问题描述二、网上解决方案罗列【此节为反面方案罗列！！！】三、发现的根本原因[独家]3.1 p
阅读更多...
windows系统上如何进行maven安装和配置方式

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》：本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2