摸鱼大数据——Hive函数13

本文主要是介绍摸鱼大数据——Hive函数13，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

13.1 行转列（收缩）

collect_set(字段名): 把多个数据放到一个set集合中，会对数据进行去重处理
collect_list(字段名): 把多个数据放到一个list集合中，不会对数据进行去重处理

把多个子串用指定分隔符拼接成一个大字符串: concat_ws("分隔符号",字段名称1,字段名称2..)
注意: concat_ws只能针对字符串内容进行拼接，不支持数值，需要使用cast进行类型转换。

需求:

示例:

use day09;

-- 行转列
create table row_2_column(col1 string,col2 string,col3 int
)row format delimited fields terminated by '\t';

-- 导入数据
load data inpath '/dir/r2c2.txt' into table row_2_column;

-- 验证数据
select * from row_2_column;

-- 行转列
/*sql编写思路：先写整体，再对局部地方进行细化。先易后难，先写你会的，再写你不会*/
describe function extended collect_list;
selectcol1,col2,collect_set(col3) as set_col3s,collect_list(col3) as list_col3s,concat_ws("_",collect_list(cast(col3 as string))) as col3_str
from row_2_column
group by col1, col2;

13.2 列转行（扩展）

把字符串按照指定分隔符切割: split(字段名称,分隔符号)

需求：

示例：

-- 列转行：explode+lateral view
create table column_2_row(col1 string,col2 string,col3 string
)row format delimited fields terminated by '\t';

-- 导入数据
load data inpath '/dir/c2r2.txt' into table column_2_row;

-- 验证数据
select * from column_2_row;

-- 列转行：explode+lateral view
selectcol1,col2,new_col3
from column_2_row
lateral view explode(split(col3,",")) col3_view as new_col3;

-- 细节测试语句
selectexplode(split(col3,",")) as col3s -- split切分以后得到是array数据类型
from column_2_row;