袋鼠云数据中台专栏(六):企业数据指标的那些事儿

2024-06-14 20:18

本文主要是介绍袋鼠云数据中台专栏(六):企业数据指标的那些事儿,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文作者:子玺

 

袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验,拥有PMP项目管理资格认证,精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人社局等行政单位,担任多个大型数据项目的数据应用咨询顾问/项目经理。

 

一、企业指标体系的重要性不言而喻

在我们谈论指标之前,先将时间倒推几十年,现代管理学之父彼得·德鲁克说过一句很经典的话:如果你不能衡量它,那么你就不能有效增长它。所谓衡量,就是需要统一标准来定义和评价业务,这个标准就是指标。

一个企业的生产、运营离不开指标,它的重要性不言而喻,我们这里就不再讨论了,接下来,我们主要看一看企业发展过程中与数据及数据指标有关的那些事。

 

二、从全局角度看,企业数据指标体系可能存在一些问题

  • 全局总览下来,不同部门利用数据指标的水平和标准参差不齐

  • 因基础数据问题,缺失某些重要指标,想看的指标看不到

  • 混乱的数据基础制约了探索性分析,对新业务开展支持力度有限

  • ……

我们想象数据指标就像是企业发展的“记牌器”,是衡量企业/业务发展健康程度的重要存在,那么如何解决上述问题,用好这个记牌器呢?

笔者认为可以从以下几个方面入手:

  • 帮助企业站在全局视角,快速梳理现有的所有指标情况,清晰掌握企业当前利用数据的情况,评估每一个部门指标体系搭建及应用情况,至少做到“知己”;

 

  • 针对缺失的指标提供建设路径与参考方案,为企业主衡量决策时提供必要的支持;

 

  • 基于数据中台策略为企业构建OneData数据架构,解决全域数据统一的问题,同时借助数栈-数据治理套件从工具层面解决数据血缘追溯,方便不同部门数据使用人员使用,降低沟通和管理成本。

构建数据地图,梳理数据指标,让企业数据可感、可知、可管

 

三、什么是OneData体系?

在企业发展初期,数据研发模式一般紧贴业务的发展而演变的,数据体系也是基于业务单元垂直建立,不同的垂直化业务,带来不同的烟囱式的体系。

但随着企业的发展,一方面数据规模在快速膨胀,垂直业务单元也越来越多;另一方面基于大数据的业务所需要的数据不仅仅是某个垂直单元的,使用数据类型繁多(Variety)的数据才能具备核心竞争力。

跨垂直单元的数据建设接踵而至,混乱的数据调用和拷贝,重复建设带来的资源浪费,数据指标定义不同而带来的歧义、数据使用门槛越来越高……这些问题日益凸显,成为企业发展迫在眉睫要解决的问题。

针对以上问题,我们建议企业以Kimball的维度建模为核心理念,借鉴典型互联网大型企业的海量数据架构设计思路,构建属于企业自己的数据架构体系——OneData。

 

那么,到底什么是OneData体系?

OneData体系:即建立企业统一的数据公共层,从设计、开发、部署和使用上保障了数据口径的规范和统一,实现数据资产全链路管理,提供标准数据输出。该体系包含:数据规范定义体系、数据模型规范设计、ETL规范研发以及支撑整个体系从方法到实施的工具体系。

 

以数据规范体系为例,不同于以往分部门的指标混乱定义做法,OneData体系中,我们将此前个性化的数据指标进行规范定义,抽象成:原子指标、时间周期、其他修饰词等三个要素,如下所示:

 

 

 

例如,以往业务方提出的需求是:最近7天的成交。而实际上,这个指标在规范定义中,应该结构化分解成为:

原子指标(支付订单金额)+修饰词-时间周期(最近7天)+修饰词-卖家类型(自营)。

这样做的好处是指标口径复用性强,可以极大的精简复杂的指标体系,便于理解和使用。

同时,我们也会借助工具(数栈——大数据开发套件)来帮助规范数据开发过程,替代传统的人工经验+人工约定模式,从根本上解决数据指标口径一致,各种场景下看到的数据一致性得到保障。

 

这篇关于袋鼠云数据中台专栏(六):企业数据指标的那些事儿的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1061407

相关文章

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提:主要考虑控制内存占用空间,避免出现同时导出,导致主程序OOM问题。实现思路:A.启用线程池

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本