5.6 HBase优化-Protocol Buffer

2024-06-07 19:18
文章标签 优化 protocol buffer 5.6 hbase

本文主要是介绍5.6 HBase优化-Protocol Buffer,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Protocol Buffer:
是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化
Protocol Buffer安装:
yum grouplist 检查yum 组--安装包在yum里是分组的
yum groupinfo Development tools 查看Development tools组信息
yum groupinstall Development tools 成组安装安装包(也就是安装 Protocol Buffer的前置包)

编译安装
上传 Protocol Buffer包到服务器
1、解压 tar -zxvf protobuf-2.5.0.tar.gz
2、./configure --prefix=/opt/soft/protobuf
3、编译 &&安装 make && make install
使用:
Protocol Buffer的代码都以.proto结尾
phone.proto
package com.sxt.hbase; //包要和自己代码保持一致
message phone
{
required string phoneNum = 1;
required string time = 2;
required string dpNum = 3;
required int32 type = 4;
}

message datePhoneList {
repeated phone datePhone = 1;
}
编译成Java代码:./代表生成到根目录下
/opt/soft/protobuf/bin/protoc --java_out=./ daymsg.proto
然后把生成的daymsg.java复制到Java中就可以当工具类用了



/**

  * 十个手机号码 每个用户每天共 产生100条

  *

  * @throws Exception

  * @throws

  */

 @Test

 public void insertDBs2() throws Exception {

 

  List<Put> puts = new ArrayList<Put>();

 

  for (int i = 0; i < 10; i++) {

   // 自己手机号码

   String pNum = getPhone("186");

   

   Long dataLong = sdf.parse("20170323000000").getTime();

   

   // 一天的所有通话记录

   Daymsg.daymsg.Builder dayMsg = Daymsg.daymsg.newBuilder();

   

   // rowkey设计:大数-当前时间戳

   String rowkey = pNum + "_" + (Long.MAX_VALUE-dataLong);

   for (int j = 0; j < 100; j++) {

     String dateStr = getDate2("20170323");

   

     // 对方手机号码

     String pNum2 = getPhone("170");

     

     // 一条通话记录

     Daymsg.phonemsg.Builder phoneMsg = Daymsg.phonemsg.newBuilder();

     phoneMsg.setDate(dateStr);

     phoneMsg.setPhonenum(pNum2);

     phoneMsg.setType((r.nextInt(2)+""));

     

     dayMsg.addMsgs(phoneMsg);

   }

   

   Put put = new Put(rowkey.getBytes());

   put.add("cf".getBytes(), "daymsg".getBytes(), dayMsg.build().toByteArray());

   puts.add(put);

  }

 

  htable.put(puts);

 }

 

 /**

  * get方式 读取一个cell cf:daymsg

  * 186982144790_9223370546656375807

  */

 @Test

 public void getDB2() throws Exception {

  // 参数:rowkey

  Get get = new Get("186982144790_9223370546656375807".getBytes());

  get.addColumn("cf".getBytes(), "daymsg".getBytes());

 

  Result rs = htable.get(get);

  Cell cell = rs.getColumnLatestCell("cf".getBytes(), "daymsg".getBytes());

 

  Daymsg.daymsg dayMsg = Daymsg.daymsg.parseFrom(CellUtil.cloneValue(cell));

 

  for(Daymsg.phonemsg pMsg : dayMsg.getMsgsList()) {

   System.out.println(pMsg.getDate() + " - " + pMsg.getPhonenum() + " - " +

      pMsg.getType());

  }

 

 }

这篇关于5.6 HBase优化-Protocol Buffer的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1040057

相关文章

SpringBoot中HTTP连接池的配置与优化

《SpringBoot中HTTP连接池的配置与优化》这篇文章主要为大家详细介绍了SpringBoot中HTTP连接池的配置与优化的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录一、HTTP连接池的核心价值二、Spring Boot集成方案方案1:Apache HttpCl

PyTorch高级特性与性能优化方式

《PyTorch高级特性与性能优化方式》:本文主要介绍PyTorch高级特性与性能优化方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、自动化机制1.自动微分机制2.动态计算图二、性能优化1.内存管理2.GPU加速3.多GPU训练三、分布式训练1.分布式数据

MySQL中like模糊查询的优化方案

《MySQL中like模糊查询的优化方案》在MySQL中,like模糊查询是一种常用的查询方式,但在某些情况下可能会导致性能问题,本文将介绍八种优化MySQL中like模糊查询的方法,需要的朋友可以参... 目录1. 避免以通配符开头的查询2. 使用全文索引(Full-text Index)3. 使用前缀索

C#实现高性能Excel百万数据导出优化实战指南

《C#实现高性能Excel百万数据导出优化实战指南》在日常工作中,Excel数据导出是一个常见的需求,然而,当数据量较大时,性能和内存问题往往会成为限制导出效率的瓶颈,下面我们看看C#如何结合EPPl... 目录一、技术方案核心对比二、各方案选型建议三、性能对比数据四、核心代码实现1. MiniExcel

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版:拆分成模块让模块更强大:使用 __init__.py你一定会遇到的问题模www.

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题:应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案:提前预热各种资源1. Flowable

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S