Logstash file插件

2024-05-04 08:32
文章标签 插件 file logstash

本文主要是介绍Logstash file插件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

注:本文基于file plugin v4.1.16版本

file插件

file插件主要用于从文件读取数据,比如我们收集系统上/var/log/目录下一些文件,我们可以用以下配置

input {file {path => ["/var/log/*.log", "/var/log/message"]type => "system"start_position => "beginning"}
}

其中,

  • path
    定义文件绝对路径,是个数组类型,可以定义多个输入文件,同时也可以使用通配符*。有一点需要注意的是,如果想要囊括/var/log下所有文件,包括子目录下的日志文件,可以通过以下方式,/var/log/**/*.log。通过两个通配符可以递归匹配所有目录下文件。

  • type
    为该input所处理的所有事件添加type字段,主要用于激活过滤器。因为也是事件本身一部分,因此kibana中也可以搜索该字段。

  • start_position
    指定logstash读取文件数据的起始位置,默认是结束位置,也就是以类似 tail -f 方式运行。如果要导入原有数据,需设置成 “beginning”。

除此之外,还有一些常用选项,

  • exclude
    和path用法一致,用于排除某些不想被监听的文件,一样支持*通配符。

  • discover_interval
    指定logstash检查被监听的path下是否有新文件的时间间隔,默认是15秒。

  • stat_interval
    指定logstash检查被监听文件是否有更新的时间间隔,默认是1秒。

  • sincedb_path
    Logstash使用FileWatch的Ruby Gem库来监听文件变化,这个库将被监听的日志文件的当前读取位置记录到.sincedb数据库文件中。默认位置/var/lib/logstash/plugins/inputs/file,可通过该配置修改sincedb文件存放位置。

  • sincedb_write_interval
    指定logstash写sincedb文件的间隔,默认15秒。

  • close_older
    监听文件超过该时间仍无更新,则关闭该文件句柄,默认1小时。


https://www.elastic.co/guide/en/logstash/current/input-plugins.html

这篇关于Logstash file插件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958772

相关文章

IDEA下"File is read-only"可能原因分析及"找不到或无法加载主类"的问题

《IDEA下Fileisread-only可能原因分析及找不到或无法加载主类的问题》:本文主要介绍IDEA下Fileisread-only可能原因分析及找不到或无法加载主类的问题,具有很好的参... 目录1.File is read-only”可能原因2.“找不到或无法加载主类”问题的解决总结1.File

MyBatis分页插件PageHelper深度解析与实践指南

《MyBatis分页插件PageHelper深度解析与实践指南》在数据库操作中,分页查询是最常见的需求之一,传统的分页方式通常有两种内存分页和SQL分页,MyBatis作为优秀的ORM框架,本身并未提... 目录1. 为什么需要分页插件?2. PageHelper简介3. PageHelper集成与配置3.

Maven 插件配置分层架构深度解析

《Maven插件配置分层架构深度解析》:本文主要介绍Maven插件配置分层架构深度解析,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Maven 插件配置分层架构深度解析引言:当构建逻辑遇上复杂配置第一章 Maven插件配置的三重境界1.1 插件配置的拓扑

Idea插件MybatisX失效的问题解决

《Idea插件MybatisX失效的问题解决》:本文主要介绍Idea插件MybatisX失效的问题解决,详细的介绍了4种问题的解决方法,具有一定的参考价值,感兴趣的可以了解一下... 目录一、重启idea或者卸载重装MyBATis插件(无需多言)二、检查.XML文件与.Java(该文件后缀Idea可能会隐藏

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

Java实现将byte[]转换为File对象

《Java实现将byte[]转换为File对象》这篇文章将通过一个简单的例子为大家演示Java如何实现byte[]转换为File对象,并将其上传到外部服务器,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言1. 问题背景2. 环境准备3. 实现步骤3.1 从 URL 获取图片字节数据3.2 将字节数组

解决JavaWeb-file.isDirectory()遇到的坑问题

《解决JavaWeb-file.isDirectory()遇到的坑问题》JavaWeb开发中,使用`file.isDirectory()`判断路径是否为文件夹时,需要特别注意:该方法只能判断已存在的文... 目录Jahttp://www.chinasem.cnvaWeb-file.isDirectory()遇

VMWare报错“指定的文件不是虚拟磁盘“或“The file specified is not a virtual disk”问题

《VMWare报错“指定的文件不是虚拟磁盘“或“Thefilespecifiedisnotavirtualdisk”问题》文章描述了如何修复VMware虚拟机中出现的“指定的文件不是虚拟... 目录VMWare报错“指定的文件不是虚拟磁盘“或“The file specified is not a virt

IDEA常用插件之代码扫描SonarLint详解

《IDEA常用插件之代码扫描SonarLint详解》SonarLint是一款用于代码扫描的插件,可以帮助查找隐藏的bug,下载并安装插件后,右键点击项目并选择“Analyze”、“Analyzewit... 目录SonajavascriptrLint 查找隐藏的bug下载安装插件扫描代码查看结果总结Sona