【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准

2023-11-02 22:10

本文主要是介绍【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


无规矩,不成方圆!数据标准(Data Standards)是保障数据的内外部使用和交换的一致性和准确性的规范性约束,作为数据治理的基石,是绕不开的一项工作,如此重要的活如何干,咱们一起聊聊。

先看看别人怎么搞得

当前国家层面高度重视数据资产建设,各行各业都在自上而下的推动建设数据标准,取得了很大的成效,我们首先要看看人家高手怎么制定的,推荐大家一个好用的网站,会迅速找到你想要参考的标准。全国标准信息公共服务平台 就是一个很好的资源网站,他提供国内所有的国家标准,还包括行业标准、地方标准、团体标准、企业标准、国际标准的检索,提供大部分国家标准的在线阅读。我们找些数据标准案例看看吧,在网站上搜索数据标准,找到的结果还真不少,那就选择合适的看看吧,可能一些地方标准不支持阅读,那就拿着题目在百度中一搜很容易找到。
在这里插入图片描述

通过阅读各类数据标准,我们会发现没有一个标准的制定标准,各类业务对象定义的粒度也不尽相同,比如在机场数据规范与交互技术指南中只包括数据项名称、数据项描述、数据项编码,像技术类型的数据都没有,如下表所示。

在这里插入图片描述

而《国土空间规划“一张图”实施监督信息系统数据标准》定义的粒度就比较细,包括字段名称、字段代码、字段类型等等。

在这里插入图片描述

说实话,数据标准定义的粒度取决于业务需求,粒度大了灵活些,满足需求即可。

数据标准实施基本流程

万事开头难,要定义数据标准,起码要知道哪些业务实体需要定义吧,我们已有很多建设的系统,数据定义不能完全推翻吧,国家和行业标准需要遵守吧…这些都是我们需要考虑的,所以基本的步骤如下:

  1. 找资料:把国家、行业等相关标准找来,找出参考数据。
  2. 业务调研:调研业务流程,找出业务实体。
  3. 系统调研:调研当前系统,识别出所有的数据对象。
  4. 建立映射:建立业务实体和数据对象的联系。
  5. 分数据域:这一步就是根据业务流程,把关联性较大的业务实体放到一起。
  6. 选粒度:对于每个业务实体,要定义到什么粒度,基础元数据选哪些。
  7. 定义基本规则:包括简称、缩写、日期格式等等。
  8. 定义实体属性:找出要定义的实体属性,这个自由度大,有些共性的就不要重复定义了。
  9. 定义数据:结合当前系统中的定义,参考国家和行业标准开始定义吧。

上面这些内容做完,基本上数据标准的核心工作也就完成了。那么一个数据对象包含哪些元数据内,行业标准《银行数据标准定义规范》给出了数据标准定义框架,大家在定义的时候适当裁剪:

在这里插入图片描述

参考数据很重要

数据标准定义参考数据的权威性很重要,毕竟弄得不伦不类就贻笑大方了,各行业通用的国家标准整理如下:

  • 经济类型分类代码 GB/T 12402-2000
  • 国民经济行业分类 GB/T 4754-2017
  • 学历代码 GB/T 4658-2006
  • 中华人民共和国行政区划代码(民政部)
  • 职业分类代码 GB/T 6565-2015
  • 政治面貌代码GB/T 4762
  • 性别代码GB/T2261.1
  • 个人身份有效证件名称代码GB/T 14946.2-2019
  • 党政职务类别代码GB/T 14946.2-2019
  • 取得专业技术职务途径代码GB/T 14946.2-2019
  • 婚姻状况代码GB/T2261.2
  • 中国各民族代码GB/T 3304-1991

拔高一下意义

就像我们盖房子打地基一样,做数据建模也好,做数据仓库也好,还是做数据质量,做数据安全也好,还是做原数据管理,那么数据标准都是其他领域的基础,它是数据治理的基础。

在这里插入图片描述

  • 数据标准是所有数据指令关键领域的基础
  • 数据标准为我们建立业务系统或者是操作性系统分析新系统提供数据之间的依据
  • 数据标准其实为企业数据质量管理提供了规则和约束,也要做数据质量结合,数据标准是给我提供相关的一些规则
  • 数据标准对数据安全的分类对数据的分级也提供了相关的参考和依据
  • 数据标准跟数据模型的关系,它是指导企业来构建数据模型,同时在建模的过程中又可以为数据标准的制定提供相应的参考

执行才是王道

无规矩,不成方圆,有了规矩,不去执行等于零。所以定数据标准不难,难在定了数据标准去推行。现实情况是标准制定了就是在那放着,没有发挥应用的价值。所以,还应该有相应的制度、考核机制去推行啊。最重要的是领导重视!

参考文章

  1. 如何全面而深刻的理解数据标准?(理论+案例)
  2. 银行数据标准定义规范.pdf
  3. 数据标准管理实践白皮书.pdf
  4. 城市运行管理服务平台数据标准-住建部.pdf
  5. 一文详解数据标准管理!
  6. 机场数据规范与交互技术指南.pdf

这篇关于【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/333633

相关文章

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I