数据价值管理-数据验收标准

2024-06-13 02:36

本文主要是介绍数据价值管理-数据验收标准,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        前情提要:数据价值管理是指通过一系列管理策略和技术手段,帮助企业把庞大的、无序的、低价值的数据资源转变为高价值密度的数据资产的过程,即数据治理和价值变现。第一讲介绍了业务架构设计的基本逻辑和思路。前面我们讲完了数据资产建设标准、数据归集标准、数据处理标准三大标准类型。

本章我们讲解数据验收标准

       数据验收是对数据治理结果的确认动作,是对开放共享的数据集在使用前的最后一道质检动作。

数据验收标准的制定来源于两个方向:

       1.数据分级分类标准+质量目标值;

       2.数据资产建设标准+数据归集标准+数据处理标准制定的数据规则;

1.数据分级分类标准+质量目标值

       A.数据分级分类:这里特指根据数据对组织运营、决策、服务等的影响程度,将数据分为重要数据和一般数据。通过数据分级分类,识别出组织内部的重要数据;

       重要数据的判定标准可以参考数据使用频率、数据价值(获取难易程度、获取成本、数据的稀缺性)2个大维度来衡量;

       B.基于识别出来的重要数据和一般数据,制定不同的数据质量管理策略,例如重要数据的准确性、完整性、一致性等维度的质量目标需要达到99.8%。一般数据的准确性、完整性、一致性等维度的质量目标需要达到95%;

2.提取数据资产建设标准+数据归集标准+数据处理标准制定的相关数据规则

数据资产建设标准提取的信息包含:

       在数据资产建设中提取参考标准

数据归集标准提取的信息包含:

数据归集范围标准

       数据归集范围标准是描述数据归集数据集的范围,数据集范围(例如数据库、表单、文件范围)、字段范围、时间范围、地域范围、业务范围

模型设计和接入血缘标准

       模型设计和接入血缘标准是定义数据从数据源到数据入到组织内部的转换过程中的标准,需要描述来源数据集、来源字段、来源数据存储颗粒度、写入数据库、写入表、写入字段;

数据入库/湖的处理规则

       数据入库/湖的处理规则是在模型设计和接入血缘标准的基础上对于某些特殊字段的简单处理规则,例如时间格式转换,全角半角符号转换等;

数据处理标准提取的信息包含:

       数据处理规则的需求描述

结合上述标准和规范,制定数据验收标准模板如下所示

验收通过的数据可以对外提供服务

这篇关于数据价值管理-数据验收标准的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1056043

相关文章

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

在macOS上安装jenv管理JDK版本的详细步骤

《在macOS上安装jenv管理JDK版本的详细步骤》jEnv是一个命令行工具,正如它的官网所宣称的那样,它是来让你忘记怎么配置JAVA_HOME环境变量的神队友,:本文主要介绍在macOS上安装... 目录前言安装 jenv添加 JDK 版本到 jenv切换 JDK 版本总结前言China编程在开发 Java

Spring Boot Actuator应用监控与管理的详细步骤

《SpringBootActuator应用监控与管理的详细步骤》SpringBootActuator是SpringBoot的监控工具,提供健康检查、性能指标、日志管理等核心功能,支持自定义和扩展端... 目录一、 Spring Boot Actuator 概述二、 集成 Spring Boot Actuat

MySQL多实例管理如何在一台主机上运行多个mysql

《MySQL多实例管理如何在一台主机上运行多个mysql》文章详解了在Linux主机上通过二进制方式安装MySQL多实例的步骤,涵盖端口配置、数据目录准备、初始化与启动流程,以及排错方法,适用于构建读... 目录一、什么是mysql多实例二、二进制方式安装MySQL1.获取二进制代码包2.安装基础依赖3.清

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分