Elastic Stack（三）：Logstash介绍及安装

2024-08-31 05:44
文章标签 安装 介绍 stack logstash elastic

本文主要是介绍Elastic Stack（三）：Logstash介绍及安装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 1 Logstash介绍
    • 1.1 组件介绍
    • 1.2 Logstash 工作原理
  • 2 Logstash安装
    • 2.1 logstash-源码包安装8.1.0
      • 1、logstash安装
      • 2、创建配置文件
      • 3、启动
      • 4、配置快速启动文件

1 Logstash介绍

1.1 组件介绍

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。

Logstash注意有三部分

  • 输入：采集各种样式、大小和来源的数据

    • 数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从你的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

  • 过滤器：实时解析和转换数据

    • 数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

  • 输出：选择你的存储，导出你的数据

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

  • 1、利用 Grok 从非结构化数据中派生出结构
  • 2、从 IP 地址破译出地理坐标
  • 3、将 PII 数据匿名化，完全排除敏感字段
  • 4、整体处理不受数据源、格式或架构的影响

尽管 Elasticsearch 是首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。Logstash 提供众多输出选择，你可以将数据发送到你要指定的地方。

1.2 Logstash 工作原理

在这里插入图片描述
Logstash 有两个必要元素：input 和 output ，一个可选元素：filter。 这三个元素，分别代表 Logstash 事件处理的三个阶段：输入 > 过滤器 > 输出

Input负责从数据源采集数据。
filter 将数据修改为你指定的格式或内容。
output 将数据传输到目的地。

在实际应用场景中，通常输入、输出、过滤器不止一个。Logstash 的这三个元素都使用插件式管理方式，可以根据应用需要，灵活的选用各阶段需要的插件，并组合使用。

  • 常用input模块：Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，可从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
    • file：从文件系统上的文件读取
    • syslog：在众所周知的端口514上侦听系统日志消息，并根据RFC3164格式进行解析
    • redis：从redis服务器读取，使用redis通道和redis列表。 Redis经常用作集中式Logstash安装中的“代理”，它将接收来自远程Logstash“托运人”的Logstash事件排队。
    • beats：处理由Filebeat发送的事件。
  • 常用的filter模块：过滤器是Logstash管道中的中间处理设备。可以将条件过滤器组合在一起，对事件执行操作。
    • grok：解析和结构任意文本。 Grok目前是Logstash中将非结构化日志数据解析为结构化和可查询的最佳方法。
    • mutate：对事件字段执行一般转换。可以重命名，删除，替换和修改事件中的字段。
    • drop：完全放弃一个事件，例如调试事件。
    • clone：制作一个事件的副本，可能会添加或删除字段。
    • geoip：添加有关IP地址的地理位置的信息
  • 常用output模块
    • elasticsearch：将事件数据发送给 Elasticsearch（推荐模式）。
    • file：将事件数据写入文件或磁盘。
    • graphite：将事件数据发送给 graphite（一个流行的开源工具，存储和绘制指标， http://graphite.readthedocs.io/en/latest/）。
    • statsd：将事件数据发送到 statsd （这是一种侦听统计数据的服务，如计数器和定时器，通过UDP发送并将聚合发送到一个或多个可插入的后端服务）。
  • 常用code插件
    • json：以JSON格式对数据进行编码或解码。
    • multiline：将多行文本事件（如java异常和堆栈跟踪消息）合并为单个事件。

2 Logstash安装

2.1 logstash-源码包安装8.1.0

1、logstash安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.1.0-linux-x86_64.tar.gz
tar zxvf logstash-8.1.0-linux-x86_64.tar.gz
ln -s logstash-8.1.0 logstash
# 测试
./bin/logstash  -e 'input { stdin { } } output { stdout {} }' 
# 执行后会提示input，手动输入：input，则会有输出，过程如下：

在这里插入图片描述

2、创建配置文件

# 在logstash目录下执行
mkdir /root/logstash-8.1.0/config/certs
scp root@192.168.92.10:/usr/local/elasticsearch-8.1.0/config/certs/http.p12 /root/logstash-8.1.0/config/certs/http.p12vim pipe.confinput {opensearch {hosts       => ["http://192.168.92.11:9200"]#user        => "admin"#password    => "admin"#index       => "logstash-logs-%{+YYYY.MM.dd}"query       => '{ "query": { "match_all": {} } }'}
}output {stdout{codec => rubydebug}elasticsearch {hosts => ["https://192.168.92.10:9200"]index => "opensearch-%{+YYYY.MM.dd}"user => "elastic"password => "ZuyB*Pt9-nbg-UjmnI0u"ssl_certificate_verification => truetruststore => "/root/logstash-8.1.0/config/certs/http.p12"truststore_password => ""}
}

参数解释：

  • ssl_certificate_verification => true代表启用SSL
  • truststore配置的elasticsearch首次启动生成的证书，它是一个使用PKCS＃12（公钥密码标准＃12）加密的数字证书，存放在elasticsearch主目录下的config/certs目录
  • ruststore_password是truststore的密码，可以采用bin目录下的elasticsearch-keystore工具获取到

注意：

  • 1.如果logstash和elasticsearch不在同一个服务器上面，需要把elasticsearch上的http.p12复制logstash上面
  • 2.如果在生成http.p12时使用密码，可参考如下方式获取：
[elastic@node1 elasticsearch-8.4.3]$ ./bin/elasticsearch-keystore list
warning: ignoring JAVA_HOME=/usr/local/jdk-17.0.5; using bundled JDK
keystore.seed
xpack.security.http.ssl.keystore.secure_password
xpack.security.transport.ssl.keystore.secure_password
xpack.security.transport.ssl.truststore.secure_password
[elastic@node1 elasticsearch-8.4.3]$ ./bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password
warning: ignoring JAVA_HOME=/usr/local/jdk-17.0.5; using bundled JDK
EDkicmcvTIaby_aFALRl3w

3、启动

# 启动测试：
./bin/logstash -f pipe.conf --config.reload.automatic# --config.reload.automatic：会自动加载配置文件，不需要重复启动logstash进程

4、配置快速启动文件

# 关掉上面的测试进程，配置快速启动文件
vim /usr/lib/systemd/system/logstash.service
[Unit]
Description=logstash
After=network.target
[Service]
Type=simple
#LimitNOFILE=100000
#LimitNPROC=100000
Restart=no
ExecStart=/root/logstash-8.1.0/bin/logstash -f /usr/local/logstash-8.1.0/pipe.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target# 启动
sudo systemctl daemon-reload 
sudo systemctl start logstash.service

这篇关于Elastic Stack（三）：Logstash介绍及安装的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1123050。

相关文章

MySQL常用字符串函数示例和场景介绍

MySQL常用字符串函数示例和场景介绍

《MySQL常用字符串函数示例和场景介绍》MySQL提供了丰富的字符串函数帮助我们高效地对字符串进行处理、转换和分析,本文我将全面且深入地介绍MySQL常用的字符串函数,并结合具体示例和场景,帮你熟练... 目录一、字符串函数概述1.1 字符串函数的作用1.2 字符串函数分类二、字符串长度与统计函数2.1
阅读更多...
Linux系统中查询JDK安装目录的几种常用方法

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》：本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1：通过update-alternatives查询（推荐）方法 2：检查所有已安装的 JDK方
阅读更多...
SQL Server安装时候没有中文选项的解决方法

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同，并且无论如何都没有中文选项？这个问题也
阅读更多...
2025版mysql8.0.41 winx64 手动安装详细教程

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务，修改密码一、下载安装包安装地
阅读更多...
Redis MCP 安装与配置指南

Redis MCP 安装与配置指南

《RedisMCP安装与配置指南》本文将详细介绍如何安装和配置RedisMCP,包括快速启动、源码安装、Docker安装、以及相关的配置参数和环境变量设置,感兴趣的朋友一起看看吧... 目录一、Redis MCP 简介二、安www.chinasem.cn装 Redis MCP 服务2.1 快速启动（推荐）2.
阅读更多...
在macOS上安装jenv管理JDK版本的详细步骤

在macOS上安装jenv管理JDK版本的详细步骤

《在macOS上安装jenv管理JDK版本的详细步骤》jEnv是一个命令行工具,正如它的官网所宣称的那样,它是来让你忘记怎么配置JAVA_HOME环境变量的神队友,：本文主要介绍在macOS上安装... 目录前言安装 jenv添加 JDK 版本到 jenv切换 JDK 版本总结前言China编程在开发 Java
阅读更多...
Linux下在线安装启动VNC教程

Linux下在线安装启动VNC教程

《Linux下在线安装启动VNC教程》本文指导在CentOS7上在线安装VNC,包含安装、配置密码、启动/停止、清理重启步骤及注意事项,强调需安装VNC桌面以避免黑屏,并解决端口冲突和目录权限问题... 目录描述安装VNC安装 VNC 桌面可能遇到的问题总结描js述linux中的VNC就类似于Window
阅读更多...
虚拟机Centos7安装MySQL数据库实践

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成
阅读更多...
JAVA中安装多个JDK的方法

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置（JAVA_HOME和Path）,并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk（需要登录Oracle账号，没有可以免费注册）下载完
阅读更多...
Java JDK1.8 安装和环境配置教程详解

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址：Java Downloads
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2