【EMR】HBase替换现有底层存储hdfs为oss

2023-11-03 07:50

本文主要是介绍【EMR】HBase替换现有底层存储hdfs为oss,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言
HBase on OSS架构优势如下:

  • 简化了数据迁移和恢复

    • HBase的数据文件和表的元数据持久存储在集群外部的OSS上,HBase数据迁移和恢复时无需再使用快照等复杂的方式。
  • 方便扩容

    • 目前基于Core Node扩容HBase计算时会同步扩容HDFS,但是本文中的HDFS集群本身只用于存储WAL(Write Ahead Log),需要的存储空间较少,所以实际是能够通过计算需求而非存储需求来调整EMR集群大小,同时OSS作为云存储服务,扩容操作也比较简单。
      与其说是Hbase替换现有底层存储hdfsoss,不如说是hbase替换底层存储hdfsoss-hdfs
      环境准备:
  • EMR 5.6.0 大数据集群(正常运行)

  • oss服务环境(正常运行)
    组件

    • hbase
    • oss
    • zookeeper
    • hdfs
      操作步骤
      具体的操作分为以下几个步骤:
    1. 联系主账号管理员,并确认oss开通了hdfs的服务,开通方式请参考:开通并授权访问OSS-HDFS服务
      在这里插入图片描述

    此时应该获取得到形如红框内的oss-hdfs地址,可以通过命令hdfs -ls ${oss-hdfs_path} 来验证一下这个地址是否可用。
    2. 停止hbase服务:
    登录阿里云的控制台,找到emr的服务,点击进入集群服务找到hbase服务,点击停止。
    3. 迁移hbase数据:
    停止了hbase之后,将hbase的数据目录迁移到oss-hdfs上。迁移的方式: 从HDFS迁移数据到OSS 。
    如果数据量不多的话,那就像我这样做吧:

    hbase的数据从hdfs下载到本地,使用命令: hdfs fs -get /hbase ./
    将本地的hbase的目录上传到oss-hdfs,使用命令 hdfs fs -put ./ oss://${oss-hdfs_path}

    1. 配置hbase:
      主要修改两个配置: hbase.rootdir hbase.wal.dir
    • hbase.rootdir

    HBase数据存储目录,配置为OSS路径,配置格式为oss://${oss_bucket}.${endpoint}/${hbase-root-dir}。例如,oss://test_bucket.cn-shanghai.oss-dls.aliyuncs.com/hbase
    说明 其中,需要替换的参数:

    • ${oss_bucket}:您在OSS控制台上创建的Bucket名称。
    • ${endpoint}:您在步骤2中获取到的HDFS服务域名。
    • ${hbase-root-dir}:HBase的根目录。
    • hbase.wal.dir:

    hdfs://${namespace}/${hbase-wal-dir}
    配置一个hdfs的路径,例如:hdfs://emr-header-1:9000/hbase/wal_log
    依据第3点的描述,将hbase的路径进行配置。配置完成之后,需要点击一下部署客户端配置。将修改好的配置同步更新到各个节点上去。

    1. 删除zookeeper的hbase旧的元数据目录
      登陆对应集群的gateway节点或者集群中的zookeeper的client端。使用命令zkCli.sh进到zookeeper的控制台。使用命令deleteall /hbase删除hbase在zookeeper中的元数据。

    2. 启动hbase
      aliyunEMR控制台中,找到hbase的服务,点击启动即可。

    3. hbase的校验
      等待hbase启动完毕之后,需要校验一下hbase的读写功能是否正常。
      总结:
      整体步骤如上所述,亲测ok!
      参考文档:

  1. 使用OSS作为HBase的底层存储 - 开源大数据平台E-MapReduce - 阿里云

这篇关于【EMR】HBase替换现有底层存储hdfs为oss的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/OldDirverHelpMe/article/details/126138134
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/336680

相关文章

SpringBoot3.X 整合 MinIO 存储原生方案

《SpringBoot3.X整合MinIO存储原生方案》本文详细介绍了SpringBoot3.X整合MinIO的原生方案,从环境搭建到核心功能实现,涵盖了文件上传、下载、删除等常用操作,并补充了... 目录SpringBoot3.X整合MinIO存储原生方案:从环境搭建到实战开发一、前言:为什么选择MinI

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

MySQL之InnoDB存储引擎中的索引用法及说明

《MySQL之InnoDB存储引擎中的索引用法及说明》:本文主要介绍MySQL之InnoDB存储引擎中的索引用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录1、背景2、准备3、正篇【1】存储用户记录的数据页【2】存储目录项记录的数据页【3】聚簇索引【4】二

MySQL之InnoDB存储页的独立表空间解读

《MySQL之InnoDB存储页的独立表空间解读》:本文主要介绍MySQL之InnoDB存储页的独立表空间,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、独立表空间【1】表空间大小【2】区【3】组【4】段【5】区的类型【6】XDES Entry区结构【

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

Nacos注册中心和配置中心的底层原理全面解读

《Nacos注册中心和配置中心的底层原理全面解读》:本文主要介绍Nacos注册中心和配置中心的底层原理的全面解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录临时实例和永久实例为什么 Nacos 要将服务实例分为临时实例和永久实例?1.x 版本和2.x版本的区别

MySQL 存储引擎 MyISAM详解(最新推荐)

《MySQL存储引擎MyISAM详解(最新推荐)》使用MyISAM存储引擎的表占用空间很小,但是由于使用表级锁定,所以限制了读/写操作的性能,通常用于中小型的Web应用和数据仓库配置中的只读或主要... 目录mysql 5.5 之前默认的存储引擎️‍一、MyISAM 存储引擎的特性️‍二、MyISAM 的主

Linux lvm实例之如何创建一个专用于MySQL数据存储的LVM卷组

《Linuxlvm实例之如何创建一个专用于MySQL数据存储的LVM卷组》:本文主要介绍使用Linux创建一个专用于MySQL数据存储的LVM卷组的实例,具有很好的参考价值,希望对大家有所帮助,... 目录在Centos 7上创建卷China编程组并配置mysql数据目录1. 检查现有磁盘2. 创建物理卷3. 创