中电金信数据治理专家武威:企业数据资产盘点及应用

2023-10-20 19:59

本文主要是介绍中电金信数据治理专家武威:企业数据资产盘点及应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本期嘉宾

武威

数据治理及数据资产管理领域专家

  • 毕业于北京邮电大学,管理科学与工程硕士

  • 曾职于赛迪顾问、Frost & Sullivan、石竹软件

  • 拥有10年数据治理落地实践经验,18年相关规划与业务咨询经验

  • 深度了解银行、保险、证券、房地产、运营商等行业数据治理和数据资产管理

数字经济时代,数据已成为主要生产要素,数据将在资本之后成为金融业又一核心资产,加强数据资产管理是金融业实现数字化转型的重要支撑。通过本视频,您将了解常见数据资产类型、盘点方式和难点及数据资产应用场景。

1、常见数据资产类型及盘点方式

类型1:元数据

盘点方式:基于系统元数据或数据字典,按照模板补充缺失属性。

类型2:指标

盘点方式:基于指标需求文档和开发文档,按照模板补充缺失属性。

类型3:质量规则

盘点方式:已有规则可以参考需求文档并从系统中导出对应SQL;新需求直接填写模板。

类型4:数据服务

盘点方式:基于数据服务说明文档及其他材料,按照模板补充缺失属性。

类型5:基础标准及公共代码

盘点方式:基于已有标准文档,按照模板补充缺失属性。

类型6:指标标准及维度标准

盘点方式:基于已有标准文档,按照模板补充缺失属性。

类型7:逻辑模型

盘点方式:参照已有架构文档或者DWD层主题域设计建立逻辑模型架构,并按照模板填写完整。

2、数据资产盘点难点

难点1:盘点过程中模板的频繁修改变更

对策事前建立全局性资产分类及编码。对企业进行数据资产盘点首先要明确有哪些资产、如何分类以及各个分类之间的关系,如果前期没有充分准备就开始盘点的话,会导致盘点过程中模板的频繁修改变更,建立全局视角的资产分类及编码是决定后续能否顺利进行盘点的关键。

难点2:资产盘点项目结束后如何更新维护

对策:在系统中实现自动的更新与维护。比如元数据能及时体现出BI工具或数据仓库里表变更,在建模的过程中引用标准,通过镜像工程引入到数据仓库中,通过元数据的获取过程中同时获取与标准和模型的关系,从而在元数据中自动建立了关系。

3、数据资产应用场景

场景1:数据资产目录管理

如下图所示,从交易系统、数据仓库或系统间传输工具中,端到端的把数据地图呈现出来,并与标准模块进行连接和处理,最终呈现出资产目录。

场景2:基础标准梳理及落地

如同所示,对存量系统进行自动的对标和检核;对新增系统基于实际库表建模,并在建模中数据标准自动推荐。

这篇关于中电金信数据治理专家武威:企业数据资产盘点及应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/249391

相关文章

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

分布式锁在Spring Boot应用中的实现过程

《分布式锁在SpringBoot应用中的实现过程》文章介绍在SpringBoot中通过自定义Lock注解、LockAspect切面和RedisLockUtils工具类实现分布式锁,确保多实例并发操作... 目录Lock注解LockASPect切面RedisLockUtils工具类总结在现代微服务架构中,分布

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程:创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

深入浅出SpringBoot WebSocket构建实时应用全面指南

《深入浅出SpringBootWebSocket构建实时应用全面指南》WebSocket是一种在单个TCP连接上进行全双工通信的协议,这篇文章主要为大家详细介绍了SpringBoot如何集成WebS... 目录前言为什么需要 WebSocketWebSocket 是什么Spring Boot 如何简化 We

Java Stream流之GroupBy的用法及应用场景

《JavaStream流之GroupBy的用法及应用场景》本教程将详细介绍如何在Java中使用Stream流的groupby方法,包括基本用法和一些常见的实际应用场景,感兴趣的朋友一起看看吧... 目录Java Stream流之GroupBy的用法1. 前言2. 基础概念什么是 GroupBy?Stream

python中列表应用和扩展性实用详解

《python中列表应用和扩展性实用详解》文章介绍了Python列表的核心特性:有序数据集合,用[]定义,元素类型可不同,支持迭代、循环、切片,可执行增删改查、排序、推导式及嵌套操作,是常用的数据处理... 目录1、列表定义2、格式3、列表是可迭代对象4、列表的常见操作总结1、列表定义是处理一组有序项目的

C#中的Converter的具体应用

《C#中的Converter的具体应用》C#中的Converter提供了一种灵活的类型转换机制,本文详细介绍了Converter的基本概念、使用场景,具有一定的参考价值,感兴趣的可以了解一下... 目录Converter的基本概念1. Converter委托2. 使用场景布尔型转换示例示例1:简单的字符串到