Hive数据类型支持以及Hive CLI、Beeline CLI使用

2023-12-10 13:58

本文主要是介绍Hive数据类型支持以及Hive CLI、Beeline CLI使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hive数据类型支持以及Hive CLI、Beeline CLI使用

1 Hive的数据单元

Hive中的数据单元有:

Databases 、Tables 、Partitions、Clusters(Buckets)

Databases用来管理、区分不同的数据;

Tables用来存放不同表的数据;

Partition可以对Table中的数据进行分区;

Cluster可以将不同的分区数据划分到不同的Buckets中,以文件的形式进行保存,一般用于数据量比较大的数据,便于抽样(TABLESAMPLE(2 out of 32 buckets))。

2 数据类型

Hive支持的基本数据类型有;

TINYINT
SMALLINT
INT
BIGINT
FLOAT
DOUBLE
BOOLEAN
STRING
CHAR
VARCHAR
TIMESTAMP
DATE
DECIMAL
BINARY

复杂数据类型:

S STRUCT{a int ;b int} => S.a
A ARRAY => A[1]
M MAP<key String,value String> => M[‘key’]

3 Hive语法操作

3.1 Hive CLI(old)

3.1.1 Hive CLI的命令行Option

这个命令行客户端是比较老的命令行启动方式,具体使用如下:

$HIVE_HOME/bin/hive

-d /–define <key=value> :替换默认的配置参数变量
-e ‘SQL’ :执行String类型的SQL语句
-i :初始化SQL文件
-H /–help :显示帮助信息
-h :连接到远程的HiveServer
–hiveconf<k=v> --hivevar<k=v> :修改默认配置
-p :通过port连接到远程的HiveServer
-S /–silent:以安静的方式执行Hive命令
-v /–verbose:以冗余的形式执行Hive命令
-f :以文件的形式执行HiveQL语句

-- 演示案例
/bin/hive -S -e select * from a''
--hiveconf hive.exec.scratchdir=/
--hivevar mapred.reduce.tasks=32
> a.txt-- 执行文件SQL
/bin/hive -f /home/script.sql
/bin/hive -f hdfs://home/script.sql
/bin/hive -f s3://home/script.sql

Hive CLI的Hive command如下

CommandDescription
quit exit退出Hive CLi.
reset恢复所有参数到默认配置.
set =替换默认配置的值.
set打印所有被替换的Hive配置参数信息.
set -vd
add FILE[S] * add JAR[S] * add ARCHIVE[S] *添加1到多个file、jar、归档文件到Hive的类路径下,能够被运行时上下文环境访问.
add FILE[S] * add JAR[S] * add ARCHIVE[S] *As of Hive 1.2.0, adds one or more files, jars or archives to the list of resources in the distributed cache using an Ivy URL of the form ivy://group:module:version?query_string. See Hive Resources below for more information.
list FILE[S] list JAR[S] list ARCHIVE[S]列出所有被添加到Hive的分布式缓存中的资源 See Hive Resources 查看更多信息.
list FILE[S] * list JAR[S] * list ARCHIVE[S] *查看给定的资源是否已经被添加到了Hive的分布式缓存中. See Hive Resources 查看更多信息.
delete FILE[S] * delete JAR[S] * delete ARCHIVE[S] *从hive的分布式缓存中移除相应的资源文件.
delete FILE[S] * delete JAR[S] * delete ARCHIVE[S] *As of Hive 1.2.0, removes the resource(s) which were added using the from the distributed cache. See Hive Resources below for more information.
! 在Hive Shell中执行一个shell命令,如:!ls /
dfs Executes a dfs command from the Hive shell.
执行HiveQL语句,如:set / select /insert /alter /create /use /drop /
source 引入文件.

3.2 Beeline CLI(new)

如何使用新的Beeline CLI?

H I V E H O M E / b i n / h i v e s e r v e r 2 ∗ ∗ ∗ ∗ HIVE_HOME/bin/hiveserver2** ** HIVEHOME/bin/hiveserver2HIVE_HOME/bin/beeline -u !connect jdbc:hive2://hostname:10000

Beeline的Hive command与Hive CLI的是一模一样的。

3.2.1 Beeline的常用命令行Option

-u :连接对应的HiveServer2的jdbc_url
-n:用户名
-p:密码
-d:jdbc驱动类
-e:执行SQL语句
-f:执行SQL脚本
-i:初始化SQL脚本
–hiveconf:覆盖默认配置参数
–hivevar:覆盖默认配置参数
–showHeader=true:显示每列的列名
–verbose:冗余形式,控制台打印querySQL语句
–silent:安静执行
–help:显示帮助信息

具体命令行选项可以参考 :命令行Options

这篇关于Hive数据类型支持以及Hive CLI、Beeline CLI使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/477300

相关文章

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

springboot中使用okhttp3的小结

《springboot中使用okhttp3的小结》OkHttp3是一个JavaHTTP客户端,可以处理各种请求类型,比如GET、POST、PUT等,并且支持高效的HTTP连接池、请求和响应缓存、以及异... 在 Spring Boot 项目中使用 OkHttp3 进行 HTTP 请求是一个高效且流行的方式。

Java使用Javassist动态生成HelloWorld类

《Java使用Javassist动态生成HelloWorld类》Javassist是一个非常强大的字节码操作和定义库,它允许开发者在运行时创建新的类或者修改现有的类,本文将简单介绍如何使用Javass... 目录1. Javassist简介2. 环境准备3. 动态生成HelloWorld类3.1 创建CtC

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

C#使用Spire.Doc for .NET实现HTML转Word的高效方案

《C#使用Spire.Docfor.NET实现HTML转Word的高效方案》在Web开发中,HTML内容的生成与处理是高频需求,然而,当用户需要将HTML页面或动态生成的HTML字符串转换为Wor... 目录引言一、html转Word的典型场景与挑战二、用 Spire.Doc 实现 HTML 转 Word1

Java中的抽象类与abstract 关键字使用详解

《Java中的抽象类与abstract关键字使用详解》:本文主要介绍Java中的抽象类与abstract关键字使用详解,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、抽象类的概念二、使用 abstract2.1 修饰类 => 抽象类2.2 修饰方法 => 抽象方法,没有

MyBatis ParameterHandler的具体使用

《MyBatisParameterHandler的具体使用》本文主要介绍了MyBatisParameterHandler的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录一、概述二、源码1 关键属性2.setParameters3.TypeHandler1.TypeHa

Spring 中的切面与事务结合使用完整示例

《Spring中的切面与事务结合使用完整示例》本文给大家介绍Spring中的切面与事务结合使用完整示例,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录 一、前置知识:Spring AOP 与 事务的关系 事务本质上就是一个“切面”二、核心组件三、完