HBase数据库使用TTL清理过期数据

2023-10-19 03:08

本文主要是介绍HBase数据库使用TTL清理过期数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

老是看别人的blog,但是发现大多数的质量不高,都是些简单的粘贴复制,把blog当作是笔记本了,有些是转载别人的,很多都是重复的些内容。原创的少。当然我也很懒,也很少原创,这次想原创下,分享下。
18年1月17日公司的HBase数据库上线了,这个项目做了很拖拉,17年8月份就开始调研做设计,9月份开始弄,后面又慢慢地将应用接入HBase数据库。大数据对我来说是个新东西,要学新的知识,这个年纪都有点学不动了,不想学了,学的过程也很烦,没有学习的资料,学习的路径,自己下了官方的一本hbase pdf参考资料,记性差,看了前面忘了后面,只有不断地学不断地记才能学会。当然书不是白看的,数据库表分区的设计就很用,这也确保了后面上线十分数据库读写十分均衡和平稳。但是还是懂了皮毛,学了不深入。学东西太慢,做项目慢也符合我的做事,节奏快我也吃不消。什么ZK这些还是后来xx上PAAS平台有深一点的了解。
整个系统上线总的来说还是平稳的,一次是hdfs元数据fsimg和edits文件写到根盘的问题,是厂家安装的人装的是没考虑,做事不严谨。
系统运行到6月份,hdfs文件系统使用了160T了,占了总空间的46%了。清理表数据的事情也要开始了。做事不够有效率,还是自己给自己订计划,要在什么时候完成。网上查了些资料,也定了些方案,编写MR程序,自己java程序没写过,也这个力气搞。虽然上次大数据培训对MR有了一定的了解。还是TTL简单点。相对来说上手容易点。
开始着手TTL了,也是靠网友提供的资料,自己又认真看了点官方理论知识,这样结合了下感觉还不错,至少觉得可以一试了,现在测试环境上搞了下,还OK的,后来就在生产环境搞了。这次搞了下,感觉对hbase又有了进一步的了解,明白了compaction,hbase:meta,regions分区怎么删,Locality,region name的命名含义等等。
开始清理表里面的数据,放入TTL,删除90天前的数据。操作步骤如下:

describe ‘INDEX_XXXX’
disable ‘INDEX_XXXX’
alter ‘INDEX_XXXX’,{NAME=>‘logkey’,TTL=>‘7776000’}
enable ‘INDEX_XXXX’
describe ‘INDEX_XXXX’
major_compact ‘INDEX_XXXX’

清理了2张表,hdfs空间释放了2T,十分满意。后面准备搞大的表。

建议大家设计表的时候就放入TTL ,后面就没这个麻烦事了。

这篇关于HBase数据库使用TTL清理过期数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/236879

相关文章

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

MySQL数据库中ENUM的用法是什么详解

《MySQL数据库中ENUM的用法是什么详解》ENUM是一个字符串对象,用于指定一组预定义的值,并可在创建表时使用,下面:本文主要介绍MySQL数据库中ENUM的用法是什么的相关资料,文中通过代码... 目录mysql 中 ENUM 的用法一、ENUM 的定义与语法二、ENUM 的特点三、ENUM 的用法1

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

ModelMapper基本使用和常见场景示例详解

《ModelMapper基本使用和常见场景示例详解》ModelMapper是Java对象映射库,支持自动映射、自定义规则、集合转换及高级配置(如匹配策略、转换器),可集成SpringBoot,减少样板... 目录1. 添加依赖2. 基本用法示例:简单对象映射3. 自定义映射规则4. 集合映射5. 高级配置匹

Spring 框架之Springfox使用详解

《Spring框架之Springfox使用详解》Springfox是Spring框架的API文档工具,集成Swagger规范,自动生成文档并支持多语言/版本,模块化设计便于扩展,但存在版本兼容性、性... 目录核心功能工作原理模块化设计使用示例注意事项优缺点优点缺点总结适用场景建议总结Springfox 是