摸鱼大数据——Hive函数13

2024-06-02 15:04
文章标签 数据 函数 13 hive 摸鱼

本文主要是介绍摸鱼大数据——Hive函数13,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

13.1 行转列(收缩)

collect_set(字段名): 把多个数据放到一个set集合中,会对数据进行去重处理
collect_list(字段名): 把多个数据放到一个list集合中,不会对数据进行去重处理
​
把多个子串用指定分隔符拼接成一个大字符串: concat_ws("分隔符号",字段名称1,字段名称2..)
注意: concat_ws只能针对字符串内容进行拼接,不支持数值,需要使用cast进行类型转换。

需求:

示例:

use day09;
​
-- 行转列
create table row_2_column(col1 string,col2 string,col3 int
)row format delimited fields terminated by '\t';
​
-- 导入数据
load data inpath '/dir/r2c2.txt' into table row_2_column;
​
-- 验证数据
select * from row_2_column;
​
-- 行转列
/*sql编写思路:先写整体,再对局部地方进行细化。先易后难,先写你会的,再写你不会*/
describe function extended collect_list;
selectcol1,col2,collect_set(col3) as set_col3s,collect_list(col3) as list_col3s,concat_ws("_",collect_list(cast(col3 as string))) as col3_str
from row_2_column
group by col1, col2;

13.2 列转行(扩展)

把字符串按照指定分隔符切割: split(字段名称,分隔符号)

需求:

示例:

-- 列转行:explode+lateral view
create table column_2_row(col1 string,col2 string,col3 string
)row format delimited fields terminated by '\t';
​
-- 导入数据
load data inpath '/dir/c2r2.txt' into table column_2_row;
​
-- 验证数据
select * from column_2_row;
​
-- 列转行:explode+lateral view
selectcol1,col2,new_col3
from column_2_row
lateral view explode(split(col3,",")) col3_view as new_col3;
​
-- 细节测试语句
selectexplode(split(col3,",")) as col3s -- split切分以后得到是array数据类型
from column_2_row;

这篇关于摸鱼大数据——Hive函数13的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1024308

相关文章

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr