kafka日志索引存储及Compact压实机制深入剖析-kafka 商业环境实战

本文主要是介绍kafka日志索引存储及Compact压实机制深入剖析-kafka 商业环境实战,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何商业交流,可随时联系。

1 kafka日志特点

  • kafka日志不是松散的结构化请求日志,错误日志或其他日志。

  • 类似于关系型数据库中的记录,只能按照时间顺序在日志尾部追加写入日志,存储的不可能是原生消息,而是消息集合或者消息batch(10版V2)。

  • 每一条日志都会被分配一个唯一的且顺序增加的记录号,作为定位该消息的位移标识。

  • kafka的日志设计都是以分区为单位进行的。

  • 对于每一个分区日志都会进一步细分为日志段(log segment file)以及日志段索引文件。每个目录下面有三个日志文件,xxx.log是消息集文件, xxx.index 偏移量索引文件 ,xxx.timeindex 时间戳索引文件:

      00000000000000000000.index  00000000000000000000.log  00000000000000000000.timeindex
    
  • kafka日志是按照topic来组织的,每个topic可以分成多个的partition。名字为 -<分区号>,即:page_visits-0。比如:有5个partition的名为page_visits的topic的目录结构为:

  • kafka topic 对应的 partition是分段的,每个段叫LogSegment,包括了一个数据文件和一个索引文件,下图是某个partition目录下的文件:

  • 注意第二条消息368769.log表示该日志段的第一条消息位移是368769,同时也说明上一个日志段包含了368768条消息。

  • 日志段文件的大小是有上限的,默认大小是1GB,当日志段文件填满记录后,kafka会创建一组新的日志段文件和索引文件。

  • kafka 分区日志还包含.index和.timeindex。注意这里的.index索引是稀疏索引(Sparse index file),默认是日志写入大小达到4KB时,才会在.index中增加一个索引项。可以通过log.index.interval.bytes来设置这个间隔大小。

  • 索引文件的打开方式:只读模式和读写模式。当前日志段的索引文件可以以读写模式打开,非当前的日志段文件只能以只读方式打开。

  • 索引文件的大小默认值是10MB,可以通过参数log.index.size.max.bytes来设置索引文件的最大文件大小。

  • 索引文件项格式如下所示,要求每一个索引项必须占用8个字节,log.index.size.max.bytes且必须是8的整数倍,否则会回退到8的整数倍。

  • 举例如下:若用户需要查找相对位移为4的消息,那么首先会通过二分查找算法找到小于4的最大索引项是4597。那么kafka就会从.log文件中从4597开始查找,直到最后找到4597。如果想要增加索引项的密度。可以设置log.index.interval.bytes,默认是4KB。

2 日志留存清理策略

2.1 日志的留存

log.retention.bytes 删除前日志文件允许保存的最大值,默认是-1,表示kafka不会对log进行大小方面的限制。

log.retention.hours 日志保存的时间,可以选择 hours,minutes和ms。默认是7天。

2.2 日志的清理和压实Compact

针对每个消息的key进行整合,对于有相同key的的不同value值,只保留最后一个版本

  • log.cleanup.policty

    日志清理保存的策略只有delete和compact两种,其中delete是默认值,就是日志留存的机制决定的。另外一个是compact则解决的是压实问题。从0.10.1.0版本开始,可以同时指定两种策略:log.cleanup.policty =delete,compact 表示可以同时为Topic执行普通的留存策略,也对其执行log comaction策略。

  • log.cleaner.enable:

    表示开启日志清理机制,自0.9开始默认为true。若要使用compact,则必须设置log.cleaner.enable=true

  • log.cleaner.min.compaction.lag.ms:

    默认是0,表示除了当前日志段,所有日志段都是可以清理的。但是假如设置log.cleaner.min.compaction.lag.ms=10min,则下午2点为当前时间时,13:50之后的日志段不被清理。

2.3 日志的合并

经过一次次清理后,各个segment大小会慢慢变小。为了避免日志目录下有过多的小文件,kafka在每次日志清理后会进行小文件日志合并。kafka会保证合并后的segment大小不超过segmentSize(通过log.segments.bytes设置,默认值是1G),且对应的索引文件占用大小之和不超过maxIndexSize(可以通过broker端参数log.index.interval.bytes设置,默认值为10MB)

3 结语

愉快的周末即将结束,挣扎完后,依然需要昂首前行,辛苦成文,各自珍惜!谢谢!

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何商业交流,可随时联系。

秦凯新 201811252328

这篇关于kafka日志索引存储及Compact压实机制深入剖析-kafka 商业环境实战的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/441265

相关文章

一文详解MySQL索引(六张图彻底搞懂)

《一文详解MySQL索引(六张图彻底搞懂)》MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度,:本文主要介绍MySQL索引的相关资料,文中通过代码介绍的... 目录一、什么是索引?为什么需要索引?二、索引该用哪种数据结构?1. 哈希表2. 跳表3. 二叉排序树4.

详解Spring中REQUIRED事务的回滚机制详解

《详解Spring中REQUIRED事务的回滚机制详解》在Spring的事务管理中,REQUIRED是最常用也是默认的事务传播属性,本文就来详细的介绍一下Spring中REQUIRED事务的回滚机制,... 目录1. REQUIRED 的定义2. REQUIRED 下的回滚机制2.1 异常触发回滚2.2 回

Oracle Scheduler任务故障诊断方法实战指南

《OracleScheduler任务故障诊断方法实战指南》Oracle数据库作为企业级应用中最常用的关系型数据库管理系统之一,偶尔会遇到各种故障和问题,:本文主要介绍OracleSchedul... 目录前言一、故障场景:当定时任务突然“消失”二、基础环境诊断:搭建“全局视角”1. 数据库实例与PDB状态2

Redis高性能Key-Value存储与缓存利器常见解决方案

《Redis高性能Key-Value存储与缓存利器常见解决方案》Redis是高性能内存Key-Value存储系统,支持丰富数据类型与持久化方案(RDB/AOF),本文给大家介绍Redis高性能Key-... 目录Redis:高性能Key-Value存储与缓存利器什么是Redis?为什么选择Redis?Red

Git进行版本控制的实战指南

《Git进行版本控制的实战指南》Git是一种分布式版本控制系统,广泛应用于软件开发中,它可以记录和管理项目的历史修改,并支持多人协作开发,通过Git,开发者可以轻松地跟踪代码变更、合并分支、回退版本等... 目录一、Git核心概念解析二、环境搭建与配置1. 安装Git(Windows示例)2. 基础配置(必

linux查找java项目日志查找报错信息方式

《linux查找java项目日志查找报错信息方式》日志查找定位步骤:进入项目,用tail-f实时跟踪日志,tail-n1000查看末尾1000行,grep搜索关键词或时间,vim内精准查找并高亮定位,... 目录日志查找定位在当前文件里找到报错消息总结日志查找定位1.cd 进入项目2.正常日志 和错误日

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

SpringBoot日志级别与日志分组详解

《SpringBoot日志级别与日志分组详解》文章介绍了日志级别(ALL至OFF)及其作用,说明SpringBoot默认日志级别为INFO,可通过application.properties调整全局或... 目录日志级别1、级别内容2、调整日志级别调整默认日志级别调整指定类的日志级别项目开发过程中,利用日志