本文主要是介绍银行数仓项目实战（五）--搭建数仓和数据标准化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- 搭建数仓
- 数据采集
- 标准层
搭建数仓
数据采集
业务系统源 -》ODS贴源层，添加标签，添加系统来源，添加时间戳
问甲方要建表语句，自己添加etldt字段和来源字段，通过之前文章教的Kettle把数据抽到自己数据库中。
如图成功即可
标准层
要求对SAACNACN表进行数据标准化，要求如下
在oracle中新建一个用户命名为SDS，用来存放标准层数据。
新建转换，转换的表输入使用ODS层的数据，对数据进行加工处理，首先统一日期类型，日期类型有SA_PSBK_DL_DT字段和SA_PSWD_DL_DT字段，其中SA_PSBK_DL_DT字段表中是STRING类型，SA_PSWD_DL_DT字段表中是DATE类型，要求我们把字段类型改为varchar(8)，格式为yyyyMMdd，我们需要先把SA_PSBK_DL_DT字段转换为DATE类型，
再将这两个字段统一转换成String类型，长度设置为8
由于翻译码值时由于字符长短问题会报错，故而先把字段长度拓宽。
再对码值进行替换，参考国家发布的标准以及人民银行给的标准，翻译码值如下所示
对于源数据中的脏数据（以身份证长度不足为例），我们要进行清洗。首先计算身份证的长度，不足18位的视为脏数据将其保存到日志中，以待后续检查修改
将清洗后的数据插入到SDS层的表中，完成数据标准化。
这篇关于银行数仓项目实战（五）--搭建数仓和数据标准化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
