hive 不同维度聚合 grouping sets 使用详情

2024-04-21 18:44

本文主要是介绍hive 不同维度聚合 grouping sets 使用详情,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

当结构数据表中,多列维度字段场景,
需要看不同维度聚合后的数据集时。

整体 demo sql

select	if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B,C,D
from table_name
where dt = '${dt}'
group byA,B,C,D	
GROUPING SETS((A)		,(B),(C)	,(D)	,(A,B)	,(A,C),(A,D),(B,C)	,(B,D)	,(C,D)	,(A,B,C)	,(A,B,D)	,(A,C,D)	,(B,C,D)	,(A,B,C,D)	

下面进行sql逐步拆解分析(建议三个模块结合着看,会更快理解该语法)

1.第一模块

select	-- A 的二进制为 8 ,如果 GROUPING__ID & 8=0 则取A值,否值为 all if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A-- & 运算符使用--	0	1	1	1	二进制数对应的十进制数为	7--	1	0	0	0	二进制数对应的十进制数为	8--	演示 7 & 8(1表示 真 、0表示 假;真真得真,真假得假,假假得假)--	0	1	1	1--	1	0	0	0-------------------	0	0	0	0	该二进制对应的十进制为0-- 则 7 & 8 =0-- A 的二进制为 4 ,如果 GROUPING__ID & 4=0 则取B值,否值为 all ,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B,C,D

2.第二模块 (接着第一模块叙述)

from table_name
where dt = '${dt}'
group byA,B,C,D--	A	B	C	D	出现在 group by 后的位置
--	3	2	1	0	二进制排位(最先出现在group by 后的排二进制最高位)
--	8	4	2	1	二进制转化为十进制值

3.第三模块(接着第二模块叙述)

GROUPING SETS((A)		-- GROUPING__ID 值为 7,(B)	-- GROUPING__ID 值为 11,(C)	-- GROUPING__ID 值为 13,(D)	-- GROUPING__ID 值为 14,(A,B)	-- GROUPING__ID 值为 3,(A,C)	-- GROUPING__ID 值为 5,(A,D)	-- GROUPING__ID 值为 6,(B,C)	-- GROUPING__ID 值为 9,(B,D)	-- GROUPING__ID 值为 10,(C,D)	-- GROUPING__ID 值为 12,(A,B,C)	-- GROUPING__ID 值为 1,(A,B,D)	-- GROUPING__ID 值为 2,(A,C,D)	-- GROUPING__ID 值为 4,(B,C,D)	-- GROUPING__ID 值为 8,(A,B,C,D)	-- GROUPING__ID 值为 0 
)

附加测试语法

-- 将二进制化转化为十进制
rpad(reverse(bin(cast(GROUPING__ID AS bigint))),16,'0') 

这篇关于hive 不同维度聚合 grouping sets 使用详情的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/923787

相关文章

MySQL的ALTER TABLE命令的使用解读

《MySQL的ALTERTABLE命令的使用解读》:本文主要介绍MySQL的ALTERTABLE命令的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、查看所建表的编China编程码格式2、修改表的编码格式3、修改列队数据类型4、添加列5、修改列的位置5.1、把列

Python使用FFmpeg实现高效音频格式转换工具

《Python使用FFmpeg实现高效音频格式转换工具》在数字音频处理领域,音频格式转换是一项基础但至关重要的功能,本文主要为大家介绍了Python如何使用FFmpeg实现强大功能的图形化音频转换工具... 目录概述功能详解软件效果展示主界面布局转换过程截图完成提示开发步骤详解1. 环境准备2. 项目功能结

SpringBoot使用ffmpeg实现视频压缩

《SpringBoot使用ffmpeg实现视频压缩》FFmpeg是一个开源的跨平台多媒体处理工具集,用于录制,转换,编辑和流式传输音频和视频,本文将使用ffmpeg实现视频压缩功能,有需要的可以参考... 目录核心功能1.格式转换2.编解码3.音视频处理4.流媒体支持5.滤镜(Filter)安装配置linu

Redis中的Lettuce使用详解

《Redis中的Lettuce使用详解》Lettuce是一个高级的、线程安全的Redis客户端,用于与Redis数据库交互,Lettuce是一个功能强大、使用方便的Redis客户端,适用于各种规模的J... 目录简介特点连接池连接池特点连接池管理连接池优势连接池配置参数监控常用监控工具通过JMX监控通过Pr

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源(如数据库连接、线程、网络连接)优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解(以数据库连接池为例)三、高级配置与优化四、典型应用场景五、注意事

使用Python实现Windows系统垃圾清理

《使用Python实现Windows系统垃圾清理》Windows自带的磁盘清理工具功能有限,无法深度清理各类垃圾文件,所以本文为大家介绍了如何使用Python+PyQt5开发一个Windows系统垃圾... 目录一、开发背景与工具概述1.1 为什么需要专业清理工具1.2 工具设计理念二、工具核心功能解析2.

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》:本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo

Java使用MethodHandle来替代反射,提高性能问题

《Java使用MethodHandle来替代反射,提高性能问题》:本文主要介绍Java使用MethodHandle来替代反射,提高性能问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录一、认识MethodHandle1、简介2、使用方式3、与反射的区别二、示例1、基本使用2、(重要)

使用C#删除Excel表格中的重复行数据的代码详解

《使用C#删除Excel表格中的重复行数据的代码详解》重复行是指在Excel表格中完全相同的多行数据,删除这些重复行至关重要,因为它们不仅会干扰数据分析,还可能导致错误的决策和结论,所以本文给大家介绍... 目录简介使用工具C# 删除Excel工作表中的重复行语法工作原理实现代码C# 删除指定Excel单元

MySQL 事务的概念及ACID属性和使用详解

《MySQL事务的概念及ACID属性和使用详解》MySQL通过多线程实现存储工作,因此在并发访问场景中,事务确保了数据操作的一致性和可靠性,下面通过本文给大家介绍MySQL事务的概念及ACID属性和... 目录一、什么是事务二、事务的属性及使用2.1 事务的 ACID 属性2.2 为什么存在事务2.3 事务