ES-7.12-官网阅读-ILM-自定义内置ILM策略

2024-04-02 09:20

本文主要是介绍ES-7.12-官网阅读-ILM-自定义内置ILM策略,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

官网地址:Tutorial: Customize built-in ILM policies | Elasticsearch Guide [7.12] | Elastic

教程:自定义内置ILM策略(Customize built-in ILM policies)

Elasticsearch包含如下内建ILM 策略:

  • logs(日志)
  • metrics(指标)
  • syntheticc(合成材料?)

Elasctic Agent 用这些策略管理其数据流的支持索引(backing indices),这个教程告诉你如何使用kibana的Index Lifecycle Policies 来基于你应用的性能和弹性,以及保存需求来自定义这些策略;

场景(Scenario)

你想要发送日志文件到Elasticsearch集群目的是能够可视化和分析数据,这些数据有如下保留需求:

  • 当你的写入index 达到50GB或者保留了30天,滚动创建(rollover)一个新的索引
  • rollover 以后,将索引在热数据层(hot data tier)保留30天;
  • rollover 30天后
    • 移动index到热数据层(warm data tier)
    • 设置副本为1;
    • Force merge 多个索引段(segment)以释放已删除文档所使用的空间。
  • 滚动90天后删除索引;

先决条件(Prerequisites)

为完成这个教程,你将需要

  • 一个有hot和warm数据层的Elasticsearch 集群
    • Elasticsearch Service:Elasticsearch Service 上的 Elastic Stack 部署(deployment)默认包含热层,要添加warm层,请编辑您的部署(deployment)并单击添加warm层的容量
    • 自建集群(Self-managed cluster):将data_hot 和data_warm 角色分配给节点,如数据层中(Data tiers | Elasticsearch Guide [7.12] | Elastic)所述;

举例,在warm tier(warm 层)中每个节点的elasticsearch.yml文件中 包含 data_warm节点 角色

node.roles: [ data_warm ]

  • 安装了 Elastic Agent 并配置为将日志发送到 Elasticsearch 集群的主机

查看策略(View the policy)

Elastic Agent使用索引模式为logs-*-*的数据流来存储日志监控数据。内置logs  ILM 策略自动管理这些数据流的支持索引。

在kibana中访问 logs policy:

  1. 打开菜单,并去到Stack Management > Index Lifecycle Policies.;
  2. 选择logs policy;

log policy 使用建议的滚动默认值:当当前写入索引达到 50GB 或变为 30 天时开始写入新索引。

查看或更改rollover设置,点击Hot 阶段的Advanced settings,然后禁用使用推荐的默认值(Use recommended defaults);

修改策略(Modify the policy)

默认logs policy 旨在防止创建许多微小的每日索引。您可以修改策略以满足您的性能要求并管理资源使用情况。

  1. 激活热阶段并单击Advanced settings.
    1. 设置Move data into phase when  30 days old。这会将index完成rollover以后保留30天后移入到warm 层
    2. 启用Set replicas 并且改变Number of replicas 为1
    3. 启用Force merge data 并设置Number of segments为1
  2. 在warm 阶段,单击垃圾桶图标以启用删除阶段。

在delete 阶段,设置Move data into phase when to 90 days old. 这会在rollover 90天后删除index;

3.  单击 Save Policy.

这篇关于ES-7.12-官网阅读-ILM-自定义内置ILM策略的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/869588

相关文章

Redis过期删除机制与内存淘汰策略的解析指南

《Redis过期删除机制与内存淘汰策略的解析指南》在使用Redis构建缓存系统时,很多开发者只设置了EXPIRE但却忽略了背后Redis的过期删除机制与内存淘汰策略,下面小编就来和大家详细介绍一下... 目录1、简述2、Redis http://www.chinasem.cn的过期删除策略(Key Expir

如何自定义一个log适配器starter

《如何自定义一个log适配器starter》:本文主要介绍如何自定义一个log适配器starter的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求Starter 项目目录结构pom.XML 配置LogInitializer实现MDCInterceptor

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

Druid连接池实现自定义数据库密码加解密功能

《Druid连接池实现自定义数据库密码加解密功能》在现代应用开发中,数据安全是至关重要的,本文将介绍如何在​​Druid​​连接池中实现自定义的数据库密码加解密功能,有需要的小伙伴可以参考一下... 目录1. 环境准备2. 密码加密算法的选择3. 自定义 ​​DruidDataSource​​ 的密码解密3

spring-gateway filters添加自定义过滤器实现流程分析(可插拔)

《spring-gatewayfilters添加自定义过滤器实现流程分析(可插拔)》:本文主要介绍spring-gatewayfilters添加自定义过滤器实现流程分析(可插拔),本文通过实例图... 目录需求背景需求拆解设计流程及作用域逻辑处理代码逻辑需求背景公司要求,通过公司网络代理访问的请求需要做请

利用Python实现时间序列动量策略

《利用Python实现时间序列动量策略》时间序列动量策略作为量化交易领域中最为持久且被深入研究的策略类型之一,其核心理念相对简明:对于显示上升趋势的资产建立多头头寸,对于呈现下降趋势的资产建立空头头寸... 目录引言传统策略面临的风险管理挑战波动率调整机制:实现风险标准化策略实施的技术细节波动率调整的战略价

Redis中6种缓存更新策略详解

《Redis中6种缓存更新策略详解》Redis作为一款高性能的内存数据库,已经成为缓存层的首选解决方案,然而,使用缓存时最大的挑战在于保证缓存数据与底层数据源的一致性,本文将介绍Redis中6种缓存更... 目录引言策略一:Cache-Aside(旁路缓存)策略工作原理代码示例优缺点分析适用场景策略二:Re

Spring Security自定义身份认证的实现方法

《SpringSecurity自定义身份认证的实现方法》:本文主要介绍SpringSecurity自定义身份认证的实现方法,下面对SpringSecurity的这三种自定义身份认证进行详细讲解,... 目录1.内存身份认证(1)创建配置类(2)验证内存身份认证2.JDBC身份认证(1)数据准备 (2)配置依

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

redis过期key的删除策略介绍

《redis过期key的删除策略介绍》:本文主要介绍redis过期key的删除策略,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录第一种策略:被动删除第二种策略:定期删除第三种策略:强制删除关于big key的清理UNLINK命令FLUSHALL/FLUSHDB命