ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）

2023-11-11 09:10
文章标签 解决方案 笔记 示例 load 维度 date etl dim time sakila

本文主要是介绍ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

生成静态维度

本示例的前提是已经配置好sakila数据库和星型模型数据库，具体参考（笔记一）

一、加载维度表dim_date

在这里插入图片描述

  • Generate 10 years：
    在这里插入图片描述
    　　生成10年数据（10*366=3660）；
    　　语言代码（language_code）：en
    　　地区代码（country_code）：gb
    　　开始日期（initial_date）：2000-01-01
    　　还有其他常量根据自己需求设置。
  • Day Sequence
    在这里插入图片描述
    　　Generate 10 years 生成的数据流入Day Sequence，本步骤生成序列，目的是为每一个输入行生成一个自增的序列数字，这个序号将会在后面和initial date相加生成一系列连续的日期数据。（本步骤的思想值得借鉴）
  • Calculate Dimension Attributes
    在这里插入图片描述
    　　这是转换中最重要的部分。这个步骤是JavaScript脚本，步骤Day sequence作为输入流，其字段被设置为JavaScript变量，用来计算不同的日期。本步骤首先将序列号和initial date相加，生成日历对象，然后，通过脚本表达式转换为不同的日期和日期的各个部分。同时，还使用JavaScript表达式生成智能键，用于区别dim_date中的数据。JavaScript表达式使用了语言和国际地区代码（在步骤“ Generate 10 years ”中设置）来完成对日期做本地化设置。例如，国家代码是gb且语言是en，日期2009-03-09会被格式化为Monday，March 9，2009，如果国家代码是ca，语言代码是fr，那么会被格式化为lundi 9 mars 2009。
    　　本步骤图表左上角，有一个“x4”的标签。
    在这里插入图片描述
    　　“x4”并不属于本步骤，而是表示此步骤生成的拷贝数量，可以单击本步骤，在菜单中选择“改变开始复制的数量”修改。

附上JavaScript代码：

//Create a Locale according to the specified language code
var locale = new java.util.Locale(language_code.getString()
,   country_code.getString()
);//Create a calendar, use the specified initial date
var calendar = new java.util.GregorianCalendar(locale);
calendar.setTime(initial_date.getDate());//set the calendar to the current date by adding DaySequence days
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger() - 1);//get the calendar date
var date = new java.util.Date(calendar.getTimeInMillis());
//en-us example: 9/3/07
var date_short  = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,   locale).format(date);
//en-us example: Sep 3, 2007 
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,   locale).format(date);
//en-us example: September 3, 2007
var date_long   = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,   locale).format(date);
//en-us example: Monday, September 3, 2007
var date_full   = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,   locale).format(date);//day in year: 1..366
var simpleDateFormat   = java.text.SimpleDateFormat("D",locale);
var day_in_year        = simpleDateFormat.format(date);
//day in month: 1..31
simpleDateFormat.applyPattern("d");
var day_in_month       = simpleDateFormat.format(date);
//en-us example: "Monday"
simpleDateFormat.applyPattern("EEEE");
var day_name           = simpleDateFormat.format(date);
//en-us example: "Mon"
simpleDateFormat.applyPattern("E");
var day_abbreviation   = simpleDateFormat.format(date);
//week in year, 1..53
simpleDateFormat.applyPattern("ww");
var week_in_year       = simpleDateFormat.format(date);
//week in month, 1..5
simpleDateFormat.applyPattern("W");
var week_in_month      = simpleDateFormat.format(date);
//month number in year, 1..12
simpleDateFormat.applyPattern("MM");
var month_number       = simpleDateFormat.format(date);
//en-us example: "September"
simpleDateFormat.applyPattern("MMMM");
var month_name         = simpleDateFormat.format(date);
//en-us example: "Sep"
simpleDateFormat.applyPattern("MMM");
var month_abbreviation = simpleDateFormat.format(date);
//2 digit representation of the year, example: "07" for 2007
simpleDateFormat.applyPattern("y");
var year2              = simpleDateFormat.format(date);
//4 digit representation of the year, example:  2007
simpleDateFormat.applyPattern("yyyy");
var year4              = "" + simpleDateFormat.format(date);
//handling Quarters is a DIY
var quarter_name = "Q";
var quarter_number;
switch(parseInt(month_number)){case 1: case 2: case 3: quarter_number = "1"; break;case 4: case 5: case 6: quarter_number = "2"; break;case 7: case 8: case 9: quarter_number = "3"; break;case 10: case 11: case 12: quarter_number = "4"; break;
}
quarter_name += quarter_number;//get the local yes/no values
var yes = local_yes.getString();
var no = local_no.getString();//initialize for week calculations
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;//find out if this is the first day of the week
var is_first_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_first_day_in_week = yes;
} else {is_first_day_in_week = no;
}//calculate the next day
calendar.add(calendar.DAY_OF_MONTH,1);
//get the next calendar date
var next_day = new java.util.Date(calendar.getTimeInMillis());//find out if this is the first day of the week
var is_last_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_last_day_in_week = yes;
} else {is_last_day_in_week = no;
}//find out if this is the first day of the month
var is_first_day_of_month;
if(day_in_month == 1){is_first_day_in_month = yes;
} else {is_first_day_in_month = no;
}//find out if this is the last day in the month
var is_last_day_of_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){is_last_day_in_month = yes;
} else {is_last_day_in_month = no;
}//date = year4 + "-" + month_number + "-" + day_in_month
var year_quarter            = year4 + "-" + quarter_name;
var year_month_number       = year4 + "-" + month_number;
var year_month_abbreviation = year4 + "-" + month_abbreviation;var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;
  • Load dim_date
    在这里插入图片描述
    　　本步骤是一个表输出步骤，接收Calculate Dimension Attributes步骤的输出流数据，生成相应的sql命名，插入维度表dim_date中。

运行结果：
在这里插入图片描述
二、加载维度表load_dim_time
在这里插入图片描述
　　转换load_dim_time中相比load_dim_date多了“记录关联（笛卡尔输出）”。

  • 生成时间
    在这里插入图片描述
    　　三个输出流分别生成了24小时（0～23），60分钟（0～59），60秒（0～59），用来表示一天的时间（时分秒）。

  • 时间12小时制
    在这里插入图片描述
    在这里插入图片描述

  • 笛卡尔输出
    步骤Cartesian Product：
    在这里插入图片描述
    是一个“记录关联（笛卡尔输出）”步骤，连接三个输入流（时、分、秒），这里的笛卡尔积条件并未设置连接条件，所以得到的输出结果就是24 x 60 x 60=86400 行的数据流进入下一步骤。

  • Caclulate Time
    在这里插入图片描述
    　　本步骤是一段JavaScript代码，用来将上一步骤输入的8640行数据中筛选出满足要求的时间格式，并输出到表中。

  • 数据库查看
    在这里插入图片描述

这篇关于ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/389020。

相关文章

PostgreSQL中rank()窗口函数实用指南与示例

PostgreSQL中rank()窗口函数实用指南与示例

《PostgreSQL中rank()窗口函数实用指南与示例》在数据分析和数据库管理中,经常需要对数据进行排名操作,PostgreSQL提供了强大的窗口函数rank(),可以方便地对结果集中的行进行排名... 目录一、rank()函数简介二、基础示例：部门内员工薪资排名示例数据排名查询三、高级应用示例1. 每
阅读更多...
使用Python删除Excel中的行列和单元格示例详解

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定
阅读更多...
SpringBoot线程池配置使用示例详解

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置（核心数、队列容量、拒绝策略等）及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略（Rejected
阅读更多...
SQL中如何添加数据(常见方法及示例)

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中，有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I
阅读更多...
SpringBoot中SM2公钥加密、私钥解密的实现示例详解

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具
阅读更多...
MySQL 定时新增分区的实现示例

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后，有时候会需要自动创建分区。比如，一些表数据量非常大，有些数据是热点数据，按照日期分区MululbU
阅读更多...
Python函数作用域示例详解

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域（Local）2.2 闭包作用域（Enclos
阅读更多...
Java 线程安全与 volatile与单例模式问题及解决方案

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因（调度随机、变量修改、非原子操作、内存可见性、指令重排序）及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操
阅读更多...
C++20管道运算符的实现示例

C++20管道运算符的实现示例

《C++20管道运算符的实现示例》本文简要介绍C++20管道运算符的使用与实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录标准库的管道运算符使用自己实现类似的管道运算符我们不打算介绍太多，因为它实际属于c++20最为重要的
阅读更多...
Java中调用数据库存储过程的示例代码

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2