hbase预分区案例-连续和分散两种方法（一）

2024-05-29 09:38
文章标签 方法 案例 连续 两种 分区 hbase 分散

本文主要是介绍hbase预分区案例-连续和分散两种方法（一），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

6.4.1 创建hb_yonghu_index索引表

Hb_yonghu_index表的Rowkey策略：

提前创建预分区。划分10个区域，预计100个数据量，每个分区10个
*      *用户id小于10的都划分在“00”
*      *用户id大于10且小于20的都划分在“10区域”
*     依次类推.....
*     rowkey的策略:
*     分区编号(根据用户id所在划分的分区编号获得，见上面解释)+"-u"+u.getUserId();

    /*** 创建索引表*/public static void createIndexTsble(){String tableNameIndex=  "hb_yonghu_index";String familyArray[]={"index-rw"};initUserTable(tableNameIndex, familyArray,true);Table tableIndex=HbaseConnectionUtils.getInstance().getTable( tableNameIndex);batchPutIndex(tableIndex);//索引表}/**提前创建预分区。划分10个区域，预计100数据量，每个分区10*      *用户id小于10的都划分在“00”*      *用户id大于10且小于20的都划分在“10区域”*     依次类推.....*     rowkey的策略:*     分区编号(根据用户id所在划分的分区编号获得，见上面解释)+"-u"+u.getUserId();*/public  static void batchPutIndex(Table hTable) {List<Put> list = new ArrayList<Put>();for (int i = 1; i <= 100; i++) {String regionNo="00";regionNo= getRegionNo(i,regionNo);String k=i+"";if(k.length()<3){StringBuffer sb=new StringBuffer();for(int m=0;m<3-k.length();m++){sb.append("0");}k=sb.toString()+k;}byte[] rowkey = Bytes.toBytes(regionNo +"-u"+k);Put put = new Put(rowkey);put.addColumn("index-rw".getBytes(), "info".getBytes(), Bytes.toBytes("zs" + i));list.add(put);}try {hTable.put(list);} catch (IOException e) {e.printStackTrace();}list.clear();log.info("添加数据成功..........................");}public static String getRegionNo(int i,String regionNo){if(i<10){regionNo="00";}else if(i>=10&&i<20){regionNo="10";}else if(i>=20&&i<30){regionNo="20";}else if(i>=30&&i<40){regionNo="30";}else if(i>=50&&i<60){regionNo="40";}else if(i>=50&&i<60){regionNo="50";}else if(i>=60&&i<70){regionNo="60";}else if(i>=70&&i<80){regionNo="70";}else if(i>=80&&i<90){regionNo="80";}else{regionNo="90";}return regionNo;}public static void initUserTable(String tableName,String familyArray[],boolean partionFlag){List<String> list=new ArrayList<String>();try {Admin hadmin = HbaseConnectionUtils.getInstance().getConnection().getAdmin();TableName tm = TableName.valueOf(tableName);if (!hadmin.tableExists(TableName.valueOf(tableName))) {HTableDescriptor hTableDescriptor = new HTableDescriptor(tm);for(String colFa:familyArray){HColumnDescriptor family = new HColumnDescriptor(colFa);family.setMaxVersions(1);hTableDescriptor.addFamily(family);}if(partionFlag){hadmin.createTable(hTableDescriptor, getSplitKeys());}else {hadmin.createTable(hTableDescriptor);//不分区}hadmin.close();}else {log.info("................新建表:"+tableName+"已存在..........................");}} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}log.info("................................................create hbase table "+tableName+" successful..........");}public static  byte[][] getSplitKeys() {String[] keys = new String[] {"10|", "20|", "30|", "40|", "50|", "60|", "70|", "80|", "90|" };byte[][] splitKeys = new byte[keys.length][];TreeSet<byte[]> rows = new TreeSet<byte[]>(Bytes.BYTES_COMPARATOR);//升序排序for (int i = 0; i < keys.length; i++) {rows.add(Bytes.toBytes(keys[i]));}Iterator<byte[]> rowKeyIter = rows.iterator();int i=0;while (rowKeyIter.hasNext()) {byte[] tempRow = rowKeyIter.next();rowKeyIter.remove();splitKeys[i] = tempRow;i++;}return splitKeys;}

查看hbase：可以看到用户的id，0-9在“00”区域,10-19在“10”区域,.......

同一分区彼此连续，不同分区彼此连续

登录web页面查看：

6.4.2 创建hb_yonghu表

hb_yonghu表的rowkey策略:

* #创建表，提前创建预分区。划分10个区域
* 用户id末位为0的都划分在“10|”
*用户id末位为1的都划分在“10|-20|”
*用户id末位为2的都划分在“20|-30|”

......
* #设计rowkey
* rowkey=分区号(userId的最后一位+补充0,组成两位数)-注册时间的时间戳(13位)-u+userId(按千万量计算，加前缀u，共6位)
* rowkey的长度=2+1+13+1+6=23位

    /*** 创建信息表*/public static void createInfoTable(){String tableName=  "hb_yonghu";String familyArray[]={"index-rw"};initUserTable(tableName, familyArray,true);Table table=HbaseConnectionUtils.getInstance().getTable( tableName);batchPut(table);//信息表}/*** #创建表，提前创建预分区。划分10个区域* 用户id末位为0的都划分在“10|”*用户id末位为1的都划分在“10|-20|”*用户id末位为2的都划分在“20|-30|”** #设计rowkey* rowkey=分区号(userId的最后一位+补充0,组成两位数)-注册时间的时间戳(13位)-u+userId(按千万量计算，加前缀u，共9位)* rowkey的长度=2+1+13+1+9=26位* @param hTable*/public  static void batchPut(Table hTable) {List<Put> list = new ArrayList<Put>();for (int i = 1; i <= 10000; i++) {String k=i+"";if(k.length()<6){StringBuffer sb=new StringBuffer();for(int m=0;m<6-k.length();m++){sb.append("0");}k=sb.toString()+k;}String n=k.substring(k.length()-1);n=n+"0";//分区号(userId的最后一位+补充0,组成两位数)byte[] rowkey = Bytes.toBytes(n +  "-" +System.currentTimeMillis()+"-u"+k);//分区号(userId的最后一位+补充0,组成两位数)Put put = new Put(rowkey);put.addColumn("index-rw".getBytes(), "info".getBytes(), Bytes.toBytes("zs" + i));list.add(put);}try {hTable.put(list);} catch (IOException e) {e.printStackTrace();}list.clear();log.info("添加数据成功..........................");}public static void initUserTable(String tableName,String familyArray[],boolean partionFlag){List<String> list=new ArrayList<String>();try {Admin hadmin = HbaseConnectionUtils.getInstance().getConnection().getAdmin();TableName tm = TableName.valueOf(tableName);if (!hadmin.tableExists(TableName.valueOf(tableName))) {HTableDescriptor hTableDescriptor = new HTableDescriptor(tm);for(String colFa:familyArray){HColumnDescriptor family = new HColumnDescriptor(colFa);family.setMaxVersions(1);hTableDescriptor.addFamily(family);}if(partionFlag){hadmin.createTable(hTableDescriptor, getSplitKeys());}else {hadmin.createTable(hTableDescriptor);//不分区}hadmin.close();}else {log.info("................新建表:"+tableName+"已存在..........................");}} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}log.info("................................................create hbase table "+tableName+" successful..........");}public static  byte[][] getSplitKeys() {String[] keys = new String[] {"10|", "20|", "30|", "40|", "50|", "60|", "70|", "80|", "90|" };byte[][] splitKeys = new byte[keys.length][];TreeSet<byte[]> rows = new TreeSet<byte[]>(Bytes.BYTES_COMPARATOR);//升序排序for (int i = 0; i < keys.length; i++) {rows.add(Bytes.toBytes(keys[i]));}Iterator<byte[]> rowKeyIter = rows.iterator();int i=0;while (rowKeyIter.hasNext()) {byte[] tempRow = rowKeyIter.next();rowKeyIter.remove();splitKeys[i] = tempRow;i++;}return splitKeys;}

Hbase shell 查看

web页面：

这篇关于hbase预分区案例-连续和分散两种方法（一）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1013312。

相关文章

Linux系统中查询JDK安装目录的几种常用方法

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》：本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1：通过update-alternatives查询（推荐）方法 2：检查所有已安装的 JDK方
阅读更多...
SQL Server安装时候没有中文选项的解决方法

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同，并且无论如何都没有中文选项？这个问题也
阅读更多...
Java Thread中join方法使用举例详解

Java Thread中join方法使用举例详解

《JavaThread中join方法使用举例详解》JavaThread中join()方法主要是让调用改方法的thread完成run方法里面的东西后,在执行join()方法后面的代码,这篇文章主要介绍... 目录前言1.join()方法的定义和作用2.join()方法的三个重载版本3.join()方法的工作原
阅读更多...
RabbitMQ消费端单线程与多线程案例讲解

RabbitMQ消费端单线程与多线程案例讲解

《RabbitMQ消费端单线程与多线程案例讲解》文章解析RabbitMQ消费端单线程与多线程处理机制,说明concurrency控制消费者数量,max-concurrency控制最大线程数,prefe... 目录 一、基础概念详细解释：举个例子：✅ 单消费者 + 单线程消费❌ 单消费者 + 多线程消费❌ 多
阅读更多...
在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分
阅读更多...
Spring Boot从main方法到内嵌Tomcat的全过程(自动化流程)

Spring Boot从main方法到内嵌Tomcat的全过程(自动化流程)

《SpringBoot从main方法到内嵌Tomcat的全过程(自动化流程)》SpringBoot启动始于main方法,创建SpringApplication实例,初始化上下文,准备环境,刷新容器并... 目录1. 入口：main方法2. SpringApplication初始化2.1 构造阶段3. 运行阶
阅读更多...
Olingo分析和实践之ODataImpl详细分析(重要方法详解)

Olingo分析和实践之ODataImpl详细分析(重要方法详解)

《Olingo分析和实践之ODataImpl详细分析(重要方法详解)》ODataImpl.java是ApacheOlingoOData框架的核心工厂类,负责创建序列化器、反序列化器和处理器等组件,... 目录概述主要职责类结构与继承关系核心功能分析1. 序列化器管理2. 反序列化器管理3. 处理器管理重要方
阅读更多...
Python错误AttributeError: 'NoneType' object has no attribute问题的彻底解决方法

Python错误AttributeError: 'NoneType' object has no attribute问题的彻底解决方法

《Python错误AttributeError:NoneTypeobjecthasnoattribute问题的彻底解决方法》在Python项目开发和调试过程中,经常会碰到这样一个异常信息... 目录问题背景与概述错误解读：AttributeError: 'NoneType' object has no at
阅读更多...
postgresql使用UUID函数的方法

postgresql使用UUID函数的方法

《postgresql使用UUID函数的方法》本文给大家介绍postgresql使用UUID函数的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录PostgreSQL有两种生成uuid的方法。可以先通过sql查看是否已安装扩展函数，和可以安装的扩展函数
阅读更多...
Java中Arrays类和Collections类常用方法示例详解

Java中Arrays类和Collections类常用方法示例详解

《Java中Arrays类和Collections类常用方法示例详解》本文总结了Java中Arrays和Collections类的常用方法,涵盖数组填充、排序、搜索、复制、列表转换等操作,帮助开发者高... 目录Arrays.fill()相关用法Arrays.toString()Arrays.sort()A
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2