ETL工具——AWS Glue、Glue的执行原理、ETL的三大组件

2023-11-21 14:10

本文主要是介绍ETL工具——AWS Glue、Glue的执行原理、ETL的三大组件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ETL的三大组件

一般来说,ETL分为3大核心组件:

  • 输入 - E - extract
  • 转换 - T - transform
  • 输出 - L - load

输入

输入即ETL工作的源头。

转换

转换一般为ETL的核心,也就是我们从输入读取数据后,经过怎么样的操作,让数据变成我们想要的样子后,在输出。

输出

输出好理解,就是数据处理完毕后,写入到哪里。

根据项目架构图:

在这里插入图片描述

我们输入源部分已经准备完成。

现在来尝试构建ETL工具-Glue

Glue 的 执行原理

我们知道,ETL的过程分为:

  • 抽取(Input)
  • 转换
  • 加载(Output)

Glue也是基于这三种过程设计了3种实现,来帮助完成ETL工作

其中,抽取(Input)和加载(Output)被设计为全程都有元数据管理。

如下图:

在这里插入图片描述

我们可以看到,Glue有一个元数据目录的组件,这个组件记录一系列元数据。

输入、输出

我们可以将:

  • 输入
  • 输出

两者的数据结构定义在元数据目录里面,并指明其存储路径。

这里有点像HIVE的外部表的概念。

数据和元数据(Schema)是分离的。

Scheam是在另外的地方(元数据目录)里面单独定义的,并且Schema指向数据具体的路径。

那么,当我们执行ETL任务的抽取和加载(Input、Output)的时候,实际上就是对:

  • 元数据目录里的Schema执行查询(Input),然后根据元数据的定义,从数据文件中(S3、RDS)中抽取数据
  • 元数据目录里的Schema执行插入、更新(Output),根据元数据的定义,这些操作被真实的作用于了数据之上(S3、RDS)

转换

那么,针对输入和输出,Glue设计了一套元数据理论来统一管理,那针对转换呢?

Glue 在转换这一块提供了Python、Scala两种编程语言的支持。

并且,Glue可以实现:

  • 自动构建代码,基于图形化操作完成输入到输出的数据流转(仅做字段映射、改格式等,无复杂转换任务)

  • 自动构建的代码支持修改,可以任意添加转换任务在代码内。

  • 支持Spark任务,自动构建的代码可以自动完成Spark相关环境的封装

  • [重点]自动构建Spark集群,为ETL JOB提供算力

    Glue可以为我们自动构建Spark集群,然后将ETL JOB提交到Spark集群中运行,运行结束后,自动删除Spark集群。

    全程无需人工干预,我们甚至无法感知这一操作。

这篇关于ETL工具——AWS Glue、Glue的执行原理、ETL的三大组件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/402819

相关文章

Spring @Scheduled注解及工作原理

《Spring@Scheduled注解及工作原理》Spring的@Scheduled注解用于标记定时任务,无需额外库,需配置@EnableScheduling,设置fixedRate、fixedDe... 目录1.@Scheduled注解定义2.配置 @Scheduled2.1 开启定时任务支持2.2 创建

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源

基于Python开发Windows屏幕控制工具

《基于Python开发Windows屏幕控制工具》在数字化办公时代,屏幕管理已成为提升工作效率和保护眼睛健康的重要环节,本文将分享一个基于Python和PySide6开发的Windows屏幕控制工具,... 目录概述功能亮点界面展示实现步骤详解1. 环境准备2. 亮度控制模块3. 息屏功能实现4. 息屏时间

SQLite3命令行工具最佳实践指南

《SQLite3命令行工具最佳实践指南》SQLite3是轻量级嵌入式数据库,无需服务器支持,具备ACID事务与跨平台特性,适用于小型项目和学习,sqlite3.exe作为命令行工具,支持SQL执行、数... 目录1. SQLite3简介和特点2. sqlite3.exe使用概述2.1 sqlite3.exe

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

使用jenv工具管理多个JDK版本的方法步骤

《使用jenv工具管理多个JDK版本的方法步骤》jenv是一个开源的Java环境管理工具,旨在帮助开发者在同一台机器上轻松管理和切换多个Java版本,:本文主要介绍使用jenv工具管理多个JD... 目录一、jenv到底是干啥的?二、jenv的核心功能(一)管理多个Java版本(二)支持插件扩展(三)环境隔

Python使用smtplib库开发一个邮件自动发送工具

《Python使用smtplib库开发一个邮件自动发送工具》在现代软件开发中,自动化邮件发送是一个非常实用的功能,无论是系统通知、营销邮件、还是日常工作报告,Python的smtplib库都能帮助我们... 目录代码实现与知识点解析1. 导入必要的库2. 配置邮件服务器参数3. 创建邮件发送类4. 实现邮件

CnPlugin是PL/SQL Developer工具插件使用教程

《CnPlugin是PL/SQLDeveloper工具插件使用教程》:本文主要介绍CnPlugin是PL/SQLDeveloper工具插件使用教程,具有很好的参考价值,希望对大家有所帮助,如有错... 目录PL/SQL Developer工具插件使用安装拷贝文件配置总结PL/SQL Developer工具插

Mysql的主从同步/复制的原理分析

《Mysql的主从同步/复制的原理分析》:本文主要介绍Mysql的主从同步/复制的原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录为什么要主从同步?mysql主从同步架构有哪些?Mysql主从复制的原理/整体流程级联复制架构为什么好?Mysql主从复制注意