指标监控和归因分析——数据异常波动

2024-03-29 09:12

本文主要是介绍指标监控和归因分析——数据异常波动,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

前言

一、基于统计分析检测指标异常

二、指标异常归因分析

2.1 横向归因分析

2.2 纵向归因分析

三、智能指标波动监控&归因分析

3.1 指标看板查看

3.2 指标归因分析

前言

    企业搭建完善,全面的指标体系是企业数据指导业务经营决策的第一步,当指标发生了异常波动(上升或下降),需要企业能够及时发现,并快速找到背后真实的原因,才能针对性的制定相应的策略,否则就是盲打,原地打转。

 指标异常波动的具体场景,比如:

  • 企业关键词的搜索流量突然降低了,是什么原因?
  • 3月的GMV数字比2月下降了40%,应该如何分析?
  • 最近某个品类的订单数猛增,为什么

下面详细介绍如何建立完善的指标异常监控及其对应归因分析机制,当遇到此类问题时,能够快速从数据中发现业务问题与机会,提升业务推进速度。

一、基于统计分析检测指标异常

    企业的日常数据走势会在一定范围内上下浮动,但不同的指标其浮动范围会有差异。当业务在高速增长期,指标每日波动幅度较大;业务在平稳期,指标每日波动幅度则较小;统计粒度越粗,数据量越大,统计结果的波动性越小。因此,对不同的指标需用不同的标准去衡量指标波动是否存在异常。

  指标异常监控方法主要有三种:

  • 基于实际业务经验进行阈值设置:
  • 基于数据结果进行统计分析
  • 融入算法进行建模预测

下面介绍如何基于统计分析方法来评估指标波动是否异常。

   统计学中,指标的数据分布通常满足正态分布。正态分布具有对称性,会用到均值,标准差两个数据。其中均值可以反应数据的平均水平,标准差可以反应数据波动幅度,标准差越大,反映出数据波动性越大。标准差的计算公式如下:

     利用数据在正态分布中的位置可以判断指标波动是否符合预期,在正态分布中,数据分布在2倍标准差内的概率是95.5%,在3倍标准差的概率内是99.7%。日常可以使用2倍标准差作为衡量标准。

    正常数据结果会在 均值±2* 标准差和范围内浮动,若实际数据超过了这个范围,则认为本次数据波动异常。日常数据波动规律会以日、周、月、年为单位出现相同或相似的变化规律,此处以日活指标为例,来说明指标异常波动的监测过程。

   某游戏类APP日活指标通常以周为单位进行数据波动,先计划基于过去5周的数据走势来判断本周一的日活数据是否出现异常波动。

   数据准备如下:

上述数据的前五周周一的均值:10900,标准差:1507,数据的2倍标准差分别为7887、13913,本周周一数据为7700,在2倍标准差范围外,则说明本周一日活指标数据波动异常,需要进一步分析异常波动原因,以判断业务是否真正存在异常

二、指标异常归因分析

 指标归因分析方法有很多,总结起来可以分为两大类:横向归因分析和纵向归因分析。

2.1 横向归因分析

   横向归因分析,指的是对于组合型的指标可以对过程指标做拆分,分析每个过程指标的波动影响因素,再对多个影响因素做整合分析。

   如:昨日的付费金额显著增高。分析增高原因时,先对付费金额工时拆解:付费金额 = 日活*日活 * 平均付费金额,平均付费金额在正常范围内波动,日活显著增加,进一步对相关业务做分析,发现是昨日买量增加带来的结果影响。

2.2 纵向归因分析

   纵向归因分析,即对指标通过维度下钻进行归因分析。维度下钻分析主要包括两个分析粒度:一是分析各个维度对指标的贡献程度,二是分析维度值对指标的贡献程度。

   维度的贡献程度计算可基于每个维度的贡献程度汇总得到,而每个维度值的贡献程度计算有多种计算方式,贡献程度的计算可以基于预测算法等多种方法进行,本文介绍一个简单的基于增长率平均值计算贡献程度的方法。

单一维度下,每个维度值贡献程度可通过下列公式计算:

   下面,以销售额为例,介绍一下计算过程。

某产品线1月1日和1月2日销售额分别为3097万元、3300万元。细分到城市维度,每个城市两天的数据表现如下:


城市维度中:

基于上述步骤即可简单地实现维度贡献度及维度值贡献度的计算。

三、智能指标波动监控&归因分析

   在实际的数据场景中,每个维度下维度值的数量少说几十上百个,多则成千上万个,每天纯手动计算维度贡献程度将是一个巨大的工作量。分析效率过于低下,导致业务方很容易根据经验进行结论推断,如果推断错误,将很有可能产生错误决策。

3.1 指标看板查看

   对于企业关注的指标,可以将指标添加到关注看板中进行日常数据观察与监控。在看板中可直观查看所有指标的当前数据表现、近期数据走势。系统会根据当前数据做智能诊断,判断指标波动是否为正常波动,帮助用户快速定位异常数据,针对性分析与应对数据变化。

3.2 指标归因分析

     当一个指标结果出现异常时,如果依次对维度、维度值进行归因分析是一件工作量很大的事情。能够将分析方法、分析过程系统化,会大大提升归因分析效率,对业务发展形成极为正向的促进作用。

    对执行指标归因分析时,系统会区分维度值计算指标波动情况,进一步计算出维度贡献度,并根据贡献度大小进行降序排序,让用户聚焦于头部更重要的影响因素

   在关注的维度下,用户可以进一步查看细分维度值的贡献度,快速发现数据变化原因,通过数据推动业务提升。

这篇关于指标监控和归因分析——数据异常波动的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/858203

相关文章

Java NoClassDefFoundError运行时错误分析解决

《JavaNoClassDefFoundError运行时错误分析解决》在Java开发中,NoClassDefFoundError是一种常见的运行时错误,它通常表明Java虚拟机在尝试加载一个类时未能... 目录前言一、问题分析二、报错原因三、解决思路检查类路径配置检查依赖库检查类文件调试类加载器问题四、常见

Java注解之超越Javadoc的元数据利器详解

《Java注解之超越Javadoc的元数据利器详解》本文将深入探讨Java注解的定义、类型、内置注解、自定义注解、保留策略、实际应用场景及最佳实践,无论是初学者还是资深开发者,都能通过本文了解如何利用... 目录什么是注解?注解的类型内置注编程解自定义注解注解的保留策略实际用例最佳实践总结在 Java 编程

一文教你Python如何快速精准抓取网页数据

《一文教你Python如何快速精准抓取网页数据》这篇文章主要为大家详细介绍了如何利用Python实现快速精准抓取网页数据,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录1. 准备工作2. 基础爬虫实现3. 高级功能扩展3.1 抓取文章详情3.2 保存数据到文件4. 完整示例

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述:为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

Java 中的 @SneakyThrows 注解使用方法(简化异常处理的利与弊)

《Java中的@SneakyThrows注解使用方法(简化异常处理的利与弊)》为了简化异常处理,Lombok提供了一个强大的注解@SneakyThrows,本文将详细介绍@SneakyThro... 目录1. @SneakyThrows 简介 1.1 什么是 Lombok?2. @SneakyThrows

在 Spring Boot 中实现异常处理最佳实践

《在SpringBoot中实现异常处理最佳实践》本文介绍如何在SpringBoot中实现异常处理,涵盖核心概念、实现方法、与先前查询的集成、性能分析、常见问题和最佳实践,感兴趣的朋友一起看看吧... 目录一、Spring Boot 异常处理的背景与核心概念1.1 为什么需要异常处理?1.2 Spring B

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义