[读书笔记]《大数据之路》——阿里数据整合及管理体系——OneData模型

2024-01-29 04:50
文章标签 阿里 数据 模型 整合 读书笔记 管理体系 onedata

本文主要是介绍[读书笔记]《大数据之路》——阿里数据整合及管理体系——OneData模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

阿里数据整合及管理体系——OneData模型

摘要#

阿里的《大数据之路》第9章介绍了其内部进行数据整合及管理的方法体系和工具OneData。他们在这一体系下，构建统 、规范、可共的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，了解他们的建模理论，有助于扩宽我们对数据建模的视野和思考。

1. 概述#

阿里巴巴集团大数据建设方法论的核心 ：从业务架构设计到模型设计，从数据研发到数据服务，做到数据可管理 、可追溯、可规避重复建设。

1.1 定位及价值#

定位：建设统一的、规范化的数据接人层（ ODS ）和数据中间层（ DWD 和
DWS ），通过数据服务和数据产品，完成服务于阿里巴巴的大数据系统建设 ，即数据公共层建设。

价值：提供标准化的（ Standard ）、共享的（ Shared ）、数据服务（ Service ）能力，降低数据互通成本，释放计算、存储、人力等资源，以消除业务和技术之痛。

2. 体系架构#

体系架构图

图1.2.1 体系架构图

2. 规范定义#

规范定义实例

图2.1.1 规范定义实例

3. 模型设计#

3.1 指导理论#

维度建模理论：基于维度数据模型总线架构，构建一致性的维度
和事实。

3.2 模型层次#

(1) 操作数据层（ODS）

功能：同步；结构化；累积历史、清洗

(2) 公共维度模型层（DM）：明细数据层（DWD）+汇总数据层（DWS）

功能：组合相关和相似数据；公共指标统一加工；建立一致性维度

(3) 应用数据层（ DS ）

功能：个性化指标加工；基于应用的数据组装

模型层次关系图

图3.2.1 模型层次关系图

3.3 基本原则#

(1) 高内聚和低辑合

(2) 核心模型与扩展模型分离

(3) 公共处理逻辑下沉及单一

(4) 成本与性能平衡

(5) 数据可回滚

(6) 一致性

(7) 命名清晰、可理解

4. 模型实施#

需求分析>架构设计>详细模型设计

4.1 业界常用的模型实施过程#

  1. Kimball 模型实施过程

(1) 高层模型

(2) 详细模型

(3) 模型审查、再设计和验证

(4) 提交 ETL 设计和开发

参考：Ralph Kimball, The DataWarehouse Lifecycle Toolkit

  1. Inmon 模型实施过程

三个层次：

ERD (Entity Relationship Diagram ，实体关系图）层

DIS (Data Item Set 数据项集）层

物理层（Physical Model ，物理模型）

参考：Inmon, Building the Data Warehouse

  1. 其他模型实施过程

· 业务建模，生成业务模型

· 领域建模，生成领域模型

· 逻辑建模，生成逻辑模型

· 物理建模，生成物理模型

4.2 OneData 实施过程#

  1. 指导方针

首先，在建设大数据数据仓库时，要进行充分的业务调研和需求分析。

其次，进行数据总体架构设计，主要根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵、抽出业务过程和维度。

再次，对报表需求进行抽象整理出相关指标体系，使用 OneData 工具完成指标规范定义和模型设计。

最后，就是代码研发和运维。

  1. 实施工作流

(1) 数据调研

· 业务调研

· 需求调研

ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1916
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1932
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1917
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1933
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1918
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1934
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1919
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1935
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1920
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1936
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1921
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1937
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1922
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1938
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1923
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1939
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1924
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1940
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1925
ｈｔｔｐｓ：／／github.com/djvb5gwz/kdnyzskenz/discussions/1941
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1926
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1927
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1928
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1929
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1930
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1931
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1932
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1933
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1934
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1935
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1936
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1937
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1938
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1939
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1940
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1941
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1942
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1943
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1944
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1945
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1946
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1947
ｈｔｔｐｓ：／／github.com/tygq5nux/jkgibzxucg/discussions/1948
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/524
ｈｔｔｐｓ：／／github.com/zjd6qwwu/xiellftjwv/discussions/507
ｈｔｔｐｓ：／／github.com/zjd6qwwu/xiellftjwv/discussions/508
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/525
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/526
ｈｔｔｐｓ：／／github.com/zjd6qwwu/xiellftjwv/discussions/509
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/527
ｈｔｔｐｓ：／／github.com/zjd6qwwu/xiellftjwv/discussions/510
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/528
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/529
ｈｔｔｐｓ：／／github.com/zjd6qwwu/xiellftjwv/discussions/511
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/530
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/531
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/532
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/533
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/534
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/535
ｈｔｔｐｓ：／／github.com/bolo3m2k/rdhslbggtt/discussions/536
ｈｔｔｐｓ：／／github.com/zjd6qwwu/xiellftjwv/discussions/513
ｈｔｔｐｓ：／／github.com/zjd6qwwu/xiellftjwv/discussions/514
ｈｔｔÿ

这篇关于[读书笔记]《大数据之路》——阿里数据整合及管理体系——OneData模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/655776。

相关文章

Linux下利用select实现串口数据读取过程

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码（使用select实现）代码解释总结在 linux 系统里，我们可以借助 select、
阅读更多...
C#使用iText获取PDF的trailer数据的代码示例

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程
阅读更多...
Pandas处理缺失数据的方式汇总

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN：缺失的数值数据Panda
阅读更多...
C++中处理文本数据char与string的终极对比指南

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,：本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别
阅读更多...
Linux五种IO模型的使用解读

Linux五种IO模型的使用解读

《Linux五种IO模型的使用解读》文章系统解析了Linux的五种IO模型（阻塞、非阻塞、IO复用、信号驱动、异步）,重点区分同步与异步IO的本质差异,强调同步由用户发起,异步由内核触发,通过对比各模... 目录1.IO模型简介2.五种IO模型2.1 IO模型分析方法2.2 阻塞IO2.3 非阻塞IO2.4
阅读更多...
linux配置podman阿里云容器镜像加速器详解

linux配置podman阿里云容器镜像加速器详解

《linux配置podman阿里云容器镜像加速器详解》本文指导如何配置Podman使用阿里云容器镜像加速器：登录阿里云获取专属加速地址,修改Podman配置文件并移除https://前缀,最后拉取镜像... 目录1.下载podman2.获取阿里云个人容器镜像加速器地址3.更改podman配置文件4.使用po
阅读更多...
python库pydantic数据验证和设置管理库的用途

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途：Field数值验证参数总结pydantic 是一个让你能够 confidentl
阅读更多...
JAVA实现亿级千万级数据顺序导出的示例代码

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提：主要考虑控制内存占用空间，避免出现同时导出，导致主程序OOM问题。实现思路：A.启用线程池
阅读更多...
SpringBoot分段处理List集合多线程批量插入数据方式

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案：通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建
阅读更多...
PHP轻松处理千万行数据的方法详解

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理：为什么必不可少生成器：内存高效的迭代方式流量控制：避免系统过载一次性
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2