使用 Phoenix 通过 sql 语句 更新操作 hbase 数据

2024-05-07 15:38

本文主要是介绍使用 Phoenix 通过 sql 语句 更新操作 hbase 数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

hbase 提供很方便的shell脚本,可以对数据表进行 CURD 操作,但是毕竟是有一定的学习成本的,基本上对于开发来讲,sql 语句都是看家本领,那么,有没有一种方法可以把 sql 语句转换成 hbase的原生API呢? 这样就可以通过普通平常的 sql 来对hbase 进行数据的管理,使用成本大大降低。Apache Phoenix 组件就完成了这种需求,官方注解为 “Phoenix - we put the SQL back in NoSql”,通过官方说明,Phoenix 的性能很高,相对于 hbase 原生的scan 并不会差多少,而对于类似的组件 hive、Impala等,性能有着显著的提升,详细请阅读 https://phoenix.apache.org/performance.html。

Apache Phoenix 官方站点: https://phoenix.apache.org/

Phoenix支持的sql语句: https://phoenix.apache.org/language/index.html

Phoenix 支持的DataTypes: https://phoenix.apache.org/language/datatypes.html

Phoenix 支持的函数: https://phoenix.apache.org/language/functions.html




二、shell 命令

通过案例,create 表,插入语句,更新语句,删除语句案例,详细可参考: https://phoenix.apache.org/faq.html

Phoenix 连接hbase的命令如下, sqlline.py [zookeeper]

[hadoop@slave2 lib]$ ./sqlline.py 10.35.66.72
Setting property: [isolation, TRANSACTION_READ_COMMITTED]
issuing: !connect jdbc:phoenix:10.35.66.72 none none org.apache.phoenix.jdbc.PhoenixDriver
Connecting to jdbc:phoenix:10.35.66.72
15/06/24 13:06:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Connected to: Phoenix (version 4.2)
Driver: PhoenixEmbeddedDriver (version 4.2)
Autocommit status: true
Transaction isolation: TRANSACTION_READ_COMMITTED
Building list of tables and columns for tab-completion (set fastconnect to true to skip)...
193/193 (100%) Done
Done
sqlline version 1.1.2
0: jdbc:phoenix:10.35.66.72>!tables
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             |
| null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      |
| null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             |
| null                                     | OL                                       | BIGLOG                                   | TABLE             |
| null                                     | WL                                       | BIG_LOG                                  | TABLE             |
| null                                     | WL                                       | ERROR_LOG                                | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |
+------------------------------------------+------------------------------------------+------------------------------------------+------------------

从上面能够看到,已经连接到了hbase集群上面, Phoenix version 4.2sqlline version 4.2 ,输入Phoenix支持的命令 !tables 可以查看当前集群中存在的数据表,能够看到有些是 SYSTEM TABLE ,其它的都是自己建立的;

下面通过脚本来模拟下使用Phoenix建立数据表、修改表、添加数据、修改数据、删除数据、删除表等操作:

1、新建一张 Person 表,含有 IDCardNumName Age 三个字段 , testtable_schem ,标准sql如下:

create table IF NOT EXISTS test.Person (IDCardNum INTEGER not null primary key, Name varchar(20),Age INTEGER);

在 Phoenix 中使用如下:

0: jdbc:phoenix:10.35.66.72> create table IF NOT EXISTS test.Person (IDCardNum INTEGER not null primary key, Name varchar(20),Age INTEGER);
No rows affected (0.344 seconds)
0: jdbc:phoenix:10.35.66.72> !tables
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             |
| null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      |
| null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             |
| null                                     | OL                                       | BIGLOG                                   | TABLE             |
| null                                     | TEST                                     | PERSON                                  | TABLE             |
| null                                     | WL                                       | BIG_LOG                                  | TABLE             |
| null                                     | WL                                       | ERROR_LOG                                | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
0: jdbc:phoenix:10.35.66.72> select * from TEST.PERSON;
+------------------------------------------+----------------------+------------------------------------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |
+------------------------------------------+----------------------+------------------------------------------+
+------------------------------------------+----------------------+------------------------------------------+

可以看到,hbase中已经存在数据表 Person 了,包含了三列。

2、对表进行插入操作,sql如下:

insert into Person (IDCardNum,Name,Age) values (100,'小明',12);
insert into Person (IDCardNum,Name,Age) values (101,'小红',15);
insert into Person (IDCardNum,Name,Age) values (103,'小王',22);

在 Phoenix 中插入的语句为 upsert ,具体如下:

0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (100,'小明',12);
1 row affected (0.043 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (101,'小红',15);
1 row affected (0.018 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (103,'小王',22);
1 row affected (0.009 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.Person;
+------------------------------------------+----------------------+------------------------------------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |
+------------------------------------------+----------------------+------------------------------------------+
| 100                                      | 小明                   | 12                                       |
| 101                                      | 小红                   | 15                                       |
| 103                                      | 小王                   | 22                                       |
+------------------------------------------+----------------------+------------------------------------------+
3 rows selected (0.115 seconds)

从上面可以看到,三条数据已经进入hbase里面了;好了,现在要对表添加一列 sex 性别操作,怎么办?

3、alter 修改表数据,sql如下:

ALTER TABLE test.Persion ADD sex varchar(10);

Phoenix 中操作如下:

0: jdbc:phoenix:10.35.66.72> ALTER TABLE test.Person ADD sex varchar(10);
No rows affected (0.191 seconds)
: jdbc:phoenix:10.35.66.72> select * from test.person;
+------------------------------------------+----------------------+------------------------------------------+------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |
+------------------------------------------+----------------------+------------------------------------------+------------+
| 100                                      | 小明                   | 12                                       | null       |
| 101                                      | 小红                   | 15                                       | null       |
| 103                                      | 小王                   | 22                                       | null       |
+------------------------------------------+----------------------+------------------------------------------+------------+
3 rows selected (0.113 seconds)

上图看到已经新增了列 sex ,每行的默认值为 null ,那么怎么样修改这些值呢?

4、 更新表数据 ,标准的sql 如下:

update test.Person set sex='男' where IDCardNum=100;
update test.Person set sex='女' where IDCardNum=101;
update test.Person set sex='男' where IDCardNum=103;

Phoenix中不存在 update 的语法关键字,而是 upsert ,功能上替代了 Insert+update ,官方说明为:

UPSERT VALUES

Inserts if not present and updates otherwise the value in the table. The list of columns is optional and if not present, the values will map to the column in the order they are declared in the schema. The values must evaluate to constants.

根据介绍,只需要在 upsert 语句中制定存在的 idcardnum 即可实现更新,在 Phoenix 客户端中操作如下:

0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (100,'男');
1 row affected (0.083 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (101,'女');
1 row affected (0.012 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (103,'男');
1 row affected (0.008 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.person;
+------------------------------------------+----------------------+------------------------------------------+------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |
+------------------------------------------+----------------------+------------------------------------------+------------+
| 100                                      | 小明                   | 12                                       | 男          |
| 101                                      | 小红                   | 15                                       | 女          |
| 103                                      | 小王                   | 22                                       | 男          |
+------------------------------------------+----------------------+------------------------------------------+------------+
3 rows selected (0.087 seconds)

5、复杂查询,通过Phoenix可以支持 where、group by、case when 等复杂的查询条件,案例如下:

# 现增加几条数据
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (104,'小张',23,'男');
1 row affected (0.012 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (105,'小李',28,'男');
1 row affected (0.015 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (106,'小李',33,'男');
1 row affected (0.011 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.person;
+------------------------------------------+----------------------+------------------------------------------+------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |
+------------------------------------------+----------------------+------------------------------------------+------------+
| 100                                      | 小明                   | 12                                       | 男          |
| 101                                      | 小红                   | 15                                       | 女          |
| 103                                      | 小王                   | 22                                       | 男          |
| 104                                      | 小张                   | 23                                       | 男          |
| 105                                      | 小李                   | 28                                       | 男          |
| 106                                      | 小李                   | 33                                       | 男          |
+------------------------------------------+----------------------+------------------------------------------+------------+
6 rows selected (0.09 seconds)

where + group by 语句例子:

jdbc:phoenix:10.35.66.72> select sex ,count(sex) as num from test.person where age >20 group by sex;
+------------+------------------------------------------+
|    SEX     |                   NUM                    |
+------------+------------------------------------------+
| 男          | 4                                        |
+------------+------------------------------------------+

case when 的例子:

0: jdbc:phoenix:10.35.66.72> select (case name when '小明' then '明明啊' when '小红' then '红红啊' else name end) as showname from test.person;
+------------------------------------------+
|                 SHOWNAME                 |
+------------------------------------------+
| 明明啊                                      |
| 红红啊                                      |
| 小王                                       |
| 小张                                       |
| 小李                                       |
| 小李                                       |
+------------------------------------------+

更多支持语法参考: https://phoenix.apache.org/language/index.html

6、删除数据及删除表,标准sql如下:

delete from test.Person where idcardnum=100;
drop table test.person;

Phoenix中同标准sql一样,案例如下:

0: jdbc:phoenix:10.35.66.72> delete from test.Person where idcardnum=100;
1 row affected (0.072 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.Person where idcardnum=100;
+------------------------------------------+----------------------+------------------------------------------+------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |
+------------------------------------------+----------------------+------------------------------------------+------------+
+------------------------------------------+----------------------+------------------------------------------+------------+

0: jdbc:phoenix:10.35.66.72> drop table test.person;
No rows affected (1.799 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.person;
Error: ERROR 1012 (42M03): Table undefined. tableName=TEST.PERSON (state=42M03,code=1012)
0: jdbc:phoenix:10.35.66.72> !tables
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             |
| null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      |
| null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             |
| null                                     | OL                                       | BIGLOG                                   | TABLE             |
| null                                     | WL                                       | BIG_LOG                                  | TABLE             |
| null                                     | WL                                       | ERROR_LOG                                | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+

这篇关于使用 Phoenix 通过 sql 语句 更新操作 hbase 数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/967766

相关文章

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

nginx启动命令和默认配置文件的使用

《nginx启动命令和默认配置文件的使用》:本文主要介绍nginx启动命令和默认配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录常见命令nginx.conf配置文件location匹配规则图片服务器总结常见命令# 默认配置文件启动./nginx

在Windows上使用qemu安装ubuntu24.04服务器的详细指南

《在Windows上使用qemu安装ubuntu24.04服务器的详细指南》本文介绍了在Windows上使用QEMU安装Ubuntu24.04的全流程:安装QEMU、准备ISO镜像、创建虚拟磁盘、配置... 目录1. 安装QEMU环境2. 准备Ubuntu 24.04镜像3. 启动QEMU安装Ubuntu4

mysql中insert into的基本用法和一些示例

《mysql中insertinto的基本用法和一些示例》INSERTINTO用于向MySQL表插入新行,支持单行/多行及部分列插入,下面给大家介绍mysql中insertinto的基本用法和一些示例... 目录基本语法插入单行数据插入多行数据插入部分列的数据插入默认值注意事项在mysql中,INSERT I

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

Windows下C++使用SQLitede的操作过程

《Windows下C++使用SQLitede的操作过程》本文介绍了Windows下C++使用SQLite的安装配置、CppSQLite库封装优势、核心功能(如数据库连接、事务管理)、跨平台支持及性能优... 目录Windows下C++使用SQLite1、安装2、代码示例CppSQLite:C++轻松操作SQ

一文详解MySQL如何设置自动备份任务

《一文详解MySQL如何设置自动备份任务》设置自动备份任务可以确保你的数据库定期备份,防止数据丢失,下面我们就来详细介绍一下如何使用Bash脚本和Cron任务在Linux系统上设置MySQL数据库的自... 目录1. 编写备份脚本1.1 创建并编辑备份脚本1.2 给予脚本执行权限2. 设置 Cron 任务2

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名