kafka日志索引存储及Compact压实机制深入剖析-kafka 商业环境实战

本文主要是介绍kafka日志索引存储及Compact压实机制深入剖析-kafka 商业环境实战,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何商业交流,可随时联系。

1 kafka日志特点

  • kafka日志不是松散的结构化请求日志,错误日志或其他日志。

  • 类似于关系型数据库中的记录,只能按照时间顺序在日志尾部追加写入日志,存储的不可能是原生消息,而是消息集合或者消息batch(10版V2)。

  • 每一条日志都会被分配一个唯一的且顺序增加的记录号,作为定位该消息的位移标识。

  • kafka的日志设计都是以分区为单位进行的。

  • 对于每一个分区日志都会进一步细分为日志段(log segment file)以及日志段索引文件。每个目录下面有三个日志文件,xxx.log是消息集文件, xxx.index 偏移量索引文件 ,xxx.timeindex 时间戳索引文件:

      00000000000000000000.index  00000000000000000000.log  00000000000000000000.timeindex
    
  • kafka日志是按照topic来组织的,每个topic可以分成多个的partition。名字为 -<分区号>,即:page_visits-0。比如:有5个partition的名为page_visits的topic的目录结构为:

  • kafka topic 对应的 partition是分段的,每个段叫LogSegment,包括了一个数据文件和一个索引文件,下图是某个partition目录下的文件:

  • 注意第二条消息368769.log表示该日志段的第一条消息位移是368769,同时也说明上一个日志段包含了368768条消息。

  • 日志段文件的大小是有上限的,默认大小是1GB,当日志段文件填满记录后,kafka会创建一组新的日志段文件和索引文件。

  • kafka 分区日志还包含.index和.timeindex。注意这里的.index索引是稀疏索引(Sparse index file),默认是日志写入大小达到4KB时,才会在.index中增加一个索引项。可以通过log.index.interval.bytes来设置这个间隔大小。

  • 索引文件的打开方式:只读模式和读写模式。当前日志段的索引文件可以以读写模式打开,非当前的日志段文件只能以只读方式打开。

  • 索引文件的大小默认值是10MB,可以通过参数log.index.size.max.bytes来设置索引文件的最大文件大小。

  • 索引文件项格式如下所示,要求每一个索引项必须占用8个字节,log.index.size.max.bytes且必须是8的整数倍,否则会回退到8的整数倍。

  • 举例如下:若用户需要查找相对位移为4的消息,那么首先会通过二分查找算法找到小于4的最大索引项是4597。那么kafka就会从.log文件中从4597开始查找,直到最后找到4597。如果想要增加索引项的密度。可以设置log.index.interval.bytes,默认是4KB。

2 日志留存清理策略

2.1 日志的留存

log.retention.bytes 删除前日志文件允许保存的最大值,默认是-1,表示kafka不会对log进行大小方面的限制。

log.retention.hours 日志保存的时间,可以选择 hours,minutes和ms。默认是7天。

2.2 日志的清理和压实Compact

针对每个消息的key进行整合,对于有相同key的的不同value值,只保留最后一个版本

  • log.cleanup.policty

    日志清理保存的策略只有delete和compact两种,其中delete是默认值,就是日志留存的机制决定的。另外一个是compact则解决的是压实问题。从0.10.1.0版本开始,可以同时指定两种策略:log.cleanup.policty =delete,compact 表示可以同时为Topic执行普通的留存策略,也对其执行log comaction策略。

  • log.cleaner.enable:

    表示开启日志清理机制,自0.9开始默认为true。若要使用compact,则必须设置log.cleaner.enable=true

  • log.cleaner.min.compaction.lag.ms:

    默认是0,表示除了当前日志段,所有日志段都是可以清理的。但是假如设置log.cleaner.min.compaction.lag.ms=10min,则下午2点为当前时间时,13:50之后的日志段不被清理。

2.3 日志的合并

经过一次次清理后,各个segment大小会慢慢变小。为了避免日志目录下有过多的小文件,kafka在每次日志清理后会进行小文件日志合并。kafka会保证合并后的segment大小不超过segmentSize(通过log.segments.bytes设置,默认值是1G),且对应的索引文件占用大小之和不超过maxIndexSize(可以通过broker端参数log.index.interval.bytes设置,默认值为10MB)

3 结语

愉快的周末即将结束,挣扎完后,依然需要昂首前行,辛苦成文,各自珍惜!谢谢!

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何商业交流,可随时联系。

秦凯新 201811252328

这篇关于kafka日志索引存储及Compact压实机制深入剖析-kafka 商业环境实战的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/441265

相关文章

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

SpringBoot日志级别与日志分组详解

《SpringBoot日志级别与日志分组详解》文章介绍了日志级别(ALL至OFF)及其作用,说明SpringBoot默认日志级别为INFO,可通过application.properties调整全局或... 目录日志级别1、级别内容2、调整日志级别调整默认日志级别调整指定类的日志级别项目开发过程中,利用日志

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

Three.js构建一个 3D 商品展示空间完整实战项目

《Three.js构建一个3D商品展示空间完整实战项目》Three.js是一个强大的JavaScript库,专用于在Web浏览器中创建3D图形,:本文主要介绍Three.js构建一个3D商品展... 目录引言项目核心技术1. 项目架构与资源组织2. 多模型切换、交互热点绑定3. 移动端适配与帧率优化4. 可

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Java Kafka消费者实现过程

《JavaKafka消费者实现过程》Kafka消费者通过KafkaConsumer类实现,核心机制包括偏移量管理、消费者组协调、批量拉取消息及多线程处理,手动提交offset确保数据可靠性,自动提交... 目录基础KafkaConsumer类分析关键代码与核心算法2.1 订阅与分区分配2.2 拉取消息2.3