ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）

2023-11-11 09:10
文章标签 解决方案 笔记 示例 load 维度 date etl dim time sakila

本文主要是介绍ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

生成静态维度

本示例的前提是已经配置好sakila数据库和星型模型数据库，具体参考（笔记一）

一、加载维度表dim_date

在这里插入图片描述

  • Generate 10 years：
    在这里插入图片描述
    　　生成10年数据（10*366=3660）；
    　　语言代码（language_code）：en
    　　地区代码（country_code）：gb
    　　开始日期（initial_date）：2000-01-01
    　　还有其他常量根据自己需求设置。
  • Day Sequence
    在这里插入图片描述
    　　Generate 10 years 生成的数据流入Day Sequence，本步骤生成序列，目的是为每一个输入行生成一个自增的序列数字，这个序号将会在后面和initial date相加生成一系列连续的日期数据。（本步骤的思想值得借鉴）
  • Calculate Dimension Attributes
    在这里插入图片描述
    　　这是转换中最重要的部分。这个步骤是JavaScript脚本，步骤Day sequence作为输入流，其字段被设置为JavaScript变量，用来计算不同的日期。本步骤首先将序列号和initial date相加，生成日历对象，然后，通过脚本表达式转换为不同的日期和日期的各个部分。同时，还使用JavaScript表达式生成智能键，用于区别dim_date中的数据。JavaScript表达式使用了语言和国际地区代码（在步骤“ Generate 10 years ”中设置）来完成对日期做本地化设置。例如，国家代码是gb且语言是en，日期2009-03-09会被格式化为Monday，March 9，2009，如果国家代码是ca，语言代码是fr，那么会被格式化为lundi 9 mars 2009。
    　　本步骤图表左上角，有一个“x4”的标签。
    在这里插入图片描述
    　　“x4”并不属于本步骤，而是表示此步骤生成的拷贝数量，可以单击本步骤，在菜单中选择“改变开始复制的数量”修改。

附上JavaScript代码：

//Create a Locale according to the specified language code
var locale = new java.util.Locale(language_code.getString()
,   country_code.getString()
);//Create a calendar, use the specified initial date
var calendar = new java.util.GregorianCalendar(locale);
calendar.setTime(initial_date.getDate());//set the calendar to the current date by adding DaySequence days
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger() - 1);//get the calendar date
var date = new java.util.Date(calendar.getTimeInMillis());
//en-us example: 9/3/07
var date_short  = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,   locale).format(date);
//en-us example: Sep 3, 2007 
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,   locale).format(date);
//en-us example: September 3, 2007
var date_long   = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,   locale).format(date);
//en-us example: Monday, September 3, 2007
var date_full   = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,   locale).format(date);//day in year: 1..366
var simpleDateFormat   = java.text.SimpleDateFormat("D",locale);
var day_in_year        = simpleDateFormat.format(date);
//day in month: 1..31
simpleDateFormat.applyPattern("d");
var day_in_month       = simpleDateFormat.format(date);
//en-us example: "Monday"
simpleDateFormat.applyPattern("EEEE");
var day_name           = simpleDateFormat.format(date);
//en-us example: "Mon"
simpleDateFormat.applyPattern("E");
var day_abbreviation   = simpleDateFormat.format(date);
//week in year, 1..53
simpleDateFormat.applyPattern("ww");
var week_in_year       = simpleDateFormat.format(date);
//week in month, 1..5
simpleDateFormat.applyPattern("W");
var week_in_month      = simpleDateFormat.format(date);
//month number in year, 1..12
simpleDateFormat.applyPattern("MM");
var month_number       = simpleDateFormat.format(date);
//en-us example: "September"
simpleDateFormat.applyPattern("MMMM");
var month_name         = simpleDateFormat.format(date);
//en-us example: "Sep"
simpleDateFormat.applyPattern("MMM");
var month_abbreviation = simpleDateFormat.format(date);
//2 digit representation of the year, example: "07" for 2007
simpleDateFormat.applyPattern("y");
var year2              = simpleDateFormat.format(date);
//4 digit representation of the year, example:  2007
simpleDateFormat.applyPattern("yyyy");
var year4              = "" + simpleDateFormat.format(date);
//handling Quarters is a DIY
var quarter_name = "Q";
var quarter_number;
switch(parseInt(month_number)){case 1: case 2: case 3: quarter_number = "1"; break;case 4: case 5: case 6: quarter_number = "2"; break;case 7: case 8: case 9: quarter_number = "3"; break;case 10: case 11: case 12: quarter_number = "4"; break;
}
quarter_name += quarter_number;//get the local yes/no values
var yes = local_yes.getString();
var no = local_no.getString();//initialize for week calculations
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;//find out if this is the first day of the week
var is_first_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_first_day_in_week = yes;
} else {is_first_day_in_week = no;
}//calculate the next day
calendar.add(calendar.DAY_OF_MONTH,1);
//get the next calendar date
var next_day = new java.util.Date(calendar.getTimeInMillis());//find out if this is the first day of the week
var is_last_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_last_day_in_week = yes;
} else {is_last_day_in_week = no;
}//find out if this is the first day of the month
var is_first_day_of_month;
if(day_in_month == 1){is_first_day_in_month = yes;
} else {is_first_day_in_month = no;
}//find out if this is the last day in the month
var is_last_day_of_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){is_last_day_in_month = yes;
} else {is_last_day_in_month = no;
}//date = year4 + "-" + month_number + "-" + day_in_month
var year_quarter            = year4 + "-" + quarter_name;
var year_month_number       = year4 + "-" + month_number;
var year_month_abbreviation = year4 + "-" + month_abbreviation;var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;
  • Load dim_date
    在这里插入图片描述
    　　本步骤是一个表输出步骤，接收Calculate Dimension Attributes步骤的输出流数据，生成相应的sql命名，插入维度表dim_date中。

运行结果：
在这里插入图片描述
二、加载维度表load_dim_time
在这里插入图片描述
　　转换load_dim_time中相比load_dim_date多了“记录关联（笛卡尔输出）”。

  • 生成时间
    在这里插入图片描述
    　　三个输出流分别生成了24小时（0～23），60分钟（0～59），60秒（0～59），用来表示一天的时间（时分秒）。

  • 时间12小时制
    在这里插入图片描述
    在这里插入图片描述

  • 笛卡尔输出
    步骤Cartesian Product：
    在这里插入图片描述
    是一个“记录关联（笛卡尔输出）”步骤，连接三个输入流（时、分、秒），这里的笛卡尔积条件并未设置连接条件，所以得到的输出结果就是24 x 60 x 60=86400 行的数据流进入下一步骤。

  • Caclulate Time
    在这里插入图片描述
    　　本步骤是一段JavaScript代码，用来将上一步骤输入的8640行数据中筛选出满足要求的时间格式，并输出到表中。

  • 数据库查看
    在这里插入图片描述

这篇关于ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/389020。

相关文章

Python中logging模块用法示例总结

Python中logging模块用法示例总结

《Python中logging模块用法示例总结》在Python中logging模块是一个强大的日志记录工具,它允许用户将程序运行期间产生的日志信息输出到控制台或者写入到文件中,：本文主要介绍Pyt... 目录前言一. 基本使用1. 五种日志等级2.  设置报告等级3. 自定义格式4. C语言风格的格式化方法
阅读更多...
Spring 中的切面与事务结合使用完整示例

Spring 中的切面与事务结合使用完整示例

《Spring中的切面与事务结合使用完整示例》本文给大家介绍Spring中的切面与事务结合使用完整示例,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录 一、前置知识：Spring AOP 与 事务的关系 事务本质上就是一个“切面”二、核心组件三、完
阅读更多...
sky-take-out项目中Redis的使用示例详解

sky-take-out项目中Redis的使用示例详解

《sky-take-out项目中Redis的使用示例详解》SpringCache是Spring的缓存抽象层,通过注解简化缓存管理,支持Redis等提供者,适用于方法结果缓存、更新和删除操作,但无法实现... 目录Spring Cache主要特性核心注解1.@Cacheable2.@CachePut3.@Ca
阅读更多...
QT Creator配置Kit的实现示例

QT Creator配置Kit的实现示例

《QTCreator配置Kit的实现示例》本文主要介绍了使用Qt5.12.12与VS2022时,因MSVC编译器版本不匹配及WindowsSDK缺失导致配置错误的问题解决,感兴趣的可以了解一下... 目录0、背景：qt5.12.12+vs2022一、症状：二、原因：(可以跳过，直奔后面的解决方法)三、解决方
阅读更多...
MySQL中On duplicate key update的实现示例

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP
阅读更多...
Python中Json和其他类型相互转换的实现示例

Python中Json和其他类型相互转换的实现示例

《Python中Json和其他类型相互转换的实现示例》本文介绍了在Python中使用json模块实现json数据与dict、object之间的高效转换,包括loads(),load(),dumps()... 项目中经常会用到json格式转为object对象、dict字典格式等。在此做个记录，方便后续用到该方
阅读更多...
MySQL分库分表的实践示例

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分
阅读更多...
SpringBoot请求参数传递与接收示例详解

SpringBoot请求参数传递与接收示例详解

《SpringBoot请求参数传递与接收示例详解》本文给大家介绍SpringBoot请求参数传递与接收示例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录I. 基础参数传递i.查询参数（Query Parameters）ii.路径参数（Path Va
阅读更多...
RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列？ 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队
阅读更多...
C#文件复制异常："未能找到文件"的解决方案与预防措施

C#文件复制异常："未能找到文件"的解决方案与预防措施

《C#文件复制异常：未能找到文件的解决方案与预防措施》在C#开发中,文件操作是基础中的基础,但有时最基础的File.Copy()方法也会抛出令人困惑的异常,当targetFilePath设置为D:2... 目录一个看似简单的文件操作问题问题重现与错误分析错误代码示例错误信息根本原因分析全面解决方案1. 确保
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2