hive拉链表实现实例

2024-02-19 17:58
文章标签 实现 实例 hive 拉链

本文主要是介绍hive拉链表实现实例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、准备数据表userods

create table userods(u_name string,u_pwd string,u_register date,u_des string) row format delimited fields terminated by '\t';

2、准备增量表user_inc

create table user_inc(u_name string,u_pwd string,u_register date,u_des string) row format delimited fields terminated by '\t';

3、准备拉链表user_chain

create table user_chain(u_name string,u_pwd string,u_register date,u_des string,u_start_date date,u_end_date date,u_status string) row format delimited fields terminated by '\t';

4、userods数据导入为

lily	123	2020-01-14	A
jhon	1234	2020-01-14	B
sunny	1234	2020-01-14	B
li	1234	2020-01-14	C

5、user_chain拉链表中先导入14号的数据
6、user_inc增量表导入新增数据为:

lily	123	2020-01-15	B
jhon	123456	2020-01-15	B
sunny	1234	2020-01-15	B
li	123	2020-01-15	C	
zhang	1236	2020-01-15	A

7、拉链表user_chain更新数据,代码如下:

INSERT overwrite TABLE user_chain 
SELECT * 
FROM(
SELECT a.u_name,a.u_pwd,a.u_register,a.u_des,a.u_start_date,CASEWHEN a.u_end_date = '9999-12-31' AND a.u_name IS NOT NULL THEN to_date(FROM_UNIXTIME(UNIX_TIMESTAMP('2020-01-15','yyyy-MM-dd'))) ELSE a.u_end_date END AS u_end_date,CASEWHEN a.u_end_date = '9999-12-31' AND a.u_name IS NOT NULL THEN "expird" ELSE "active" END AS u_status
FROMuser_chain a LEFT JOIN user_inc b ON b.u_name = a.u_name 
UNION ALL
SELECT c.u_name,c.u_pwd,c.u_register,c.u_des,to_date(FROM_UNIXTIME(UNIX_TIMESTAMP('2020-01-15','yyyy-MM-dd'))) AS u_start_date,to_date(FROM_UNIXTIME(UNIX_TIMESTAMP('9999-12-31','yyyy-MM-dd'))) AS u_end_date,"active" AS u_status 
FROM  user_inc c)T; 

拉链表user_chain的数据为:

lily	123	2020-01-14	A	2020-01-14	2020-01-15	expird
jhon	1234	2020-01-14	B	2020-01-14	2020-01-15	expird
sunny	1234	2020-01-14	B	2020-01-14	2020-01-15	expird
li	1234	2020-01-14	C	2020-01-14	2020-01-15	expird
lily	123	2020-01-15	B	2020-01-15	9999-12-31	active
jhon	123456	2020-01-15	B	2020-01-15	9999-12-31	active
sunny	1234	2020-01-15	B	2020-01-15	9999-12-31	active
li	123	2020-01-15	C	2020-01-15	9999-12-31	active
zhang	1236	2020-01-15	A	2020-01-15	9999-12-31	active

这篇关于hive拉链表实现实例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/725468

相关文章

Python基于微信OCR引擎实现高效图片文字识别

《Python基于微信OCR引擎实现高效图片文字识别》这篇文章主要为大家详细介绍了一款基于微信OCR引擎的图片文字识别桌面应用开发全过程,可以实现从图片拖拽识别到文字提取,感兴趣的小伙伴可以跟随小编一... 目录一、项目概述1.1 开发背景1.2 技术选型1.3 核心优势二、功能详解2.1 核心功能模块2.

MYSQL查询结果实现发送给客户端

《MYSQL查询结果实现发送给客户端》:本文主要介绍MYSQL查询结果实现发送给客户端方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql取数据和发数据的流程(边读边发)Sending to clientSending DataLRU(Least Rec

Java中实现线程的创建和启动的方法

《Java中实现线程的创建和启动的方法》在Java中,实现线程的创建和启动是两个不同但紧密相关的概念,理解为什么要启动线程(调用start()方法)而非直接调用run()方法,是掌握多线程编程的关键,... 目录1. 线程的生命周期2. start() vs run() 的本质区别3. 为什么必须通过 st

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构

C#之List集合去重复对象的实现方法

《C#之List集合去重复对象的实现方法》:本文主要介绍C#之List集合去重复对象的实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C# List集合去重复对象方法1、测试数据2、测试数据3、知识点补充总结C# List集合去重复对象方法1、测试数据

Linux实现线程同步的多种方式汇总

《Linux实现线程同步的多种方式汇总》本文详细介绍了Linux下线程同步的多种方法,包括互斥锁、自旋锁、信号量以及它们的使用示例,通过这些同步机制,可以解决线程安全问题,防止资源竞争导致的错误,示例... 目录什么是线程同步?一、互斥锁(单人洗手间规则)适用场景:特点:二、条件变量(咖啡厅取餐系统)工作流

SpringBoot读取ZooKeeper(ZK)属性的方法实现

《SpringBoot读取ZooKeeper(ZK)属性的方法实现》本文主要介绍了SpringBoot读取ZooKeeper(ZK)属性的方法实现,强调使用@ConfigurationProperti... 目录1. 在配置文件中定义 ZK 属性application.propertiesapplicati

Java Multimap实现类与操作的具体示例

《JavaMultimap实现类与操作的具体示例》Multimap出现在Google的Guava库中,它为Java提供了更加灵活的集合操作,:本文主要介绍JavaMultimap实现类与操作的... 目录一、Multimap 概述Multimap 主要特点:二、Multimap 实现类1. ListMult

C#实现将Office文档(Word/Excel/PDF/PPT)转为Markdown格式

《C#实现将Office文档(Word/Excel/PDF/PPT)转为Markdown格式》Markdown凭借简洁的语法、优良的可读性,以及对版本控制系统的高度兼容性,逐渐成为最受欢迎的文档格式... 目录为什么要将文档转换为 Markdown 格式使用工具将 Word 文档转换为 Markdown(.