(40)首单分析

2024-01-22 22:58
文章标签 分析 40 首单

本文主要是介绍(40)首单分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.需求分析及实现思路
按省份|用户性别|用户年龄段,统计当日新增付费用户首单平均消费及人数占比
无论是省份名称、用户性别、用户年龄,订单表中都没有这些字段,需要订单(事实表)
和维度表(省份、用户)进行关联,形成宽表后将数据写入到 ES,通过 Kibana 进行分析
以及图形展示。
2 . 整体实时计算框架流程

 

1.3 具体业务流程图

1.4 实现思路
1.4.1 功能 1:数据采集
从 MySQL 数据库中采集业务数据到 Kafka,并对数据进行分流处理(ODS 层),分
流数据处理之后,将数据写回 Kafka。我们这里使用 canal 和 Maxwell 两种方式实现
1.4.2 功能 2:判断是否为首单用户
每笔订单都要判断是否是该用户的首单
判断是否首单的要点,在于该用户之前是否参与过消费(下单)。那么如何知道用户之
前是否参与过消费,如果临时从所有消费记录中查询,是非常不现实的。那么只有将“用户
是否消费过”这个状态进行保存并长期维护起来。在有需要的时候通过用户 id 进行关联查
询。
在实际生产中,这种用户状态是非常常见的比如“用户是否退过单”、“用户是否投过
诉”、“用户是否是高净值用户”等等。我们要想保存状态,大家可能会想到在 Redis 中
保存,Reids 可以实现,但是这个状态可能包含历史数据,数据量比较大,而且历史数据保
存在内存中,对内存压力也比较大。所以考虑到
1、 这是一个保存周期较长的数据。
2、 必须可修改状态值。
3、 查询模式基本上是 k-v 模式的查询。
所以综上这三点比较,状态适合保存在 Hbase 中。
1.4.3 功能 3:订单与维度表的关联
在查询订单的时候,订单与 Hbase 中省份和用户的维度表进行关联,才能获取省份名
称、用户性别、用户年龄等对应字段,完成后面的统计。
1.4.4 功能 4:可视化展示
将订单关联后的宽表保存到 ES,利用 Kibana 进行分析展示

这篇关于(40)首单分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/634505

相关文章

Android 缓存日志Logcat导出与分析最佳实践

《Android缓存日志Logcat导出与分析最佳实践》本文全面介绍AndroidLogcat缓存日志的导出与分析方法,涵盖按进程、缓冲区类型及日志级别过滤,自动化工具使用,常见问题解决方案和最佳实... 目录android 缓存日志(Logcat)导出与分析全攻略为什么要导出缓存日志?按需过滤导出1. 按

Linux中的HTTPS协议原理分析

《Linux中的HTTPS协议原理分析》文章解释了HTTPS的必要性:HTTP明文传输易被篡改和劫持,HTTPS通过非对称加密协商对称密钥、CA证书认证和混合加密机制,有效防范中间人攻击,保障通信安全... 目录一、什么是加密和解密?二、为什么需要加密?三、常见的加密方式3.1 对称加密3.2非对称加密四、

MySQL中读写分离方案对比分析与选型建议

《MySQL中读写分离方案对比分析与选型建议》MySQL读写分离是提升数据库可用性和性能的常见手段,本文将围绕现实生产环境中常见的几种读写分离模式进行系统对比,希望对大家有所帮助... 目录一、问题背景介绍二、多种解决方案对比2.1 原生mysql主从复制2.2 Proxy层中间件:ProxySQL2.3

python使用Akshare与Streamlit实现股票估值分析教程(图文代码)

《python使用Akshare与Streamlit实现股票估值分析教程(图文代码)》入职测试中的一道题,要求:从Akshare下载某一个股票近十年的财务报表包括,资产负债表,利润表,现金流量表,保存... 目录一、前言二、核心知识点梳理1、Akshare数据获取2、Pandas数据处理3、Matplotl

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

MySQL中EXISTS与IN用法使用与对比分析

《MySQL中EXISTS与IN用法使用与对比分析》在MySQL中,EXISTS和IN都用于子查询中根据另一个查询的结果来过滤主查询的记录,本文将基于工作原理、效率和应用场景进行全面对比... 目录一、基本用法详解1. IN 运算符2. EXISTS 运算符二、EXISTS 与 IN 的选择策略三、性能对比

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类

Olingo分析和实践之OData框架核心组件初始化(关键步骤)

《Olingo分析和实践之OData框架核心组件初始化(关键步骤)》ODataSpringBootService通过初始化OData实例和服务元数据,构建框架核心能力与数据模型结构,实现序列化、URI... 目录概述第一步:OData实例创建1.1 OData.newInstance() 详细分析1.1.1