SQL---Zeppeline前驱记录与后驱记录查询

2023-12-22 07:44

本文主要是介绍SQL---Zeppeline前驱记录与后驱记录查询,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

内容导航

类别内容导航
机器学习机器学习算法应用场景与评价指标
机器学习算法—分类
机器学习算法—回归
机器学习算法—聚类
机器学习算法—异常检测
机器学习算法—时间序列
数据可视化数据可视化—折线图
数据可视化—箱线图
数据可视化—柱状图
数据可视化—饼图、环形图、雷达图
统计学检验箱线图筛选异常值
3 Sigma原则筛选离群值
Python统计学检验
大数据PySpark大数据处理详细教程
使用教程CentOS服务器搭建Miniconda环境
Linux服务器配置免密SSH
大数据集群缓存清理
面试题整理面试题—机器学习算法
面试题—推荐系统

在这里插入图片描述

前驱记录

为了在 SQL 查询中按特定列对数据进行分区,可以在窗口函数中使用 PARTITION BY 子句。这通常用于在执行窗口函数(如 LAG)时在某些列的值上创建数据的分区。例如,如果您想按 _distinct_id 分区数据,然后在每个分区内找到符合特定条件的记录的前一条记录,可以这样做:

WITH ExtendedTable AS (SELECT_distinct_id,_part_event,plat_id,_event_time,exception_type,_kudu_pt,LAG(_part_event) OVER (PARTITION BY _distinct_id ORDER BY _event_time) AS prev_part_eventFROM YourTableWHERE _kudu_pt >= 20231115 AND _kudu_pt < 20231201
)SELECT COUNT(*) AS TotalCount
FROM ExtendedTable
WHERE_part_event = 'app_exception' AND exception_type = 7AND (prev_part_event LIKE 'dbt_ad%' OR prev_part_event LIKE 'video%' OR prev_part_event LIKE 'ad%' OR prev_part_event LIKE 'Ad%' OR prev_part_event LIKE 'insert%' OR prev_part_event LIKE 'inters%')

在这个例子中:
LAG(_part_event) OVER (PARTITION BY _distinct_id ORDER BY _event_time):此窗口函数首先按 _distinct_id 列对数据进行分区,然后在每个分区内按 _event_time 排序,从而为每条记录计算 prev_part_event。
这意味着 LAG() 函数是在每个 _distinct_id 分区内独立计算的。
请确保将 _distinct_id 替换为您实际想要用作分区依据的列名。这种方法允许您在每个分区(例如,每个用户或每个设备)内单独跟踪事件序列。

后驱记录

要查找满足特定条件(例如 _part_event = ‘app_exception’ AND exception_type = 7)的记录的后一条记录,您可以使用窗口函数 LEAD()。与 LAG() 类似,LEAD() 用于访问当前行之后的行中的数据。在您的场景中,我们将使用 LEAD() 来获取每条记录后面的 _part_event 值,然后筛选出满足您指定条件的记录。
以下是相应的 SQL 查询:

WITH ExtendedTable AS (SELECT_distinct_id,_part_event,plat_id,_event_time,exception_type,_kudu_pt,LEAD(_part_event) OVER (PARTITION BY _distinct_id ORDER BY _event_time) AS next_part_eventFROM YourTableWHERE _kudu_pt >= 20231115 AND _kudu_pt < 20231201
)SELECT COUNT(*) AS TotalCount
FROM ExtendedTable
WHERE_part_event = 'app_exception' AND exception_type = 7AND (next_part_event LIKE 'dbt_ad%' OR next_part_event LIKE 'video%' OR next_part_event LIKE 'ad%' OR next_part_event LIKE 'Ad%' OR next_part_event LIKE 'insert%' OR next_part_event LIKE 'inters%')

在此查询中:
LEAD(_part_event) OVER (PARTITION BY _distinct_id ORDER BY _event_time) 用于在 _distinct_id 分区内按 _event_time 排序后,获取每条记录后面的 _part_event 值。
最后,查询从 ExtendedTable 中选择那些满足 _part_event = ‘app_exception’ AND exception_type = 7 条件的记录,并且它们的下一条记录的 _part_event 符合您指定的模式。
这个查询将返回在指定时间段内,满足 _part_event = ‘app_exception’ AND exception_type = 7 条件的记录的数量,且它们的后一条记录符合特定的 _part_event 模式。

友情提示如果你觉得这个博客对你有帮助,请点赞、评论和分享吧!如果你有任何问题或建议,也欢迎在评论区留言哦!!!

这篇关于SQL---Zeppeline前驱记录与后驱记录查询的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/523135

相关文章

MySQL数据库双机热备的配置方法详解

《MySQL数据库双机热备的配置方法详解》在企业级应用中,数据库的高可用性和数据的安全性是至关重要的,MySQL作为最流行的开源关系型数据库管理系统之一,提供了多种方式来实现高可用性,其中双机热备(M... 目录1. 环境准备1.1 安装mysql1.2 配置MySQL1.2.1 主服务器配置1.2.2 从

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

mysql8.0.43使用InnoDB Cluster配置主从复制

《mysql8.0.43使用InnoDBCluster配置主从复制》本文主要介绍了mysql8.0.43使用InnoDBCluster配置主从复制,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录1、配置Hosts解析(所有服务器都要执行)2、安装mysql shell(所有服务器都要执行)3、

k8s中实现mysql主备过程详解

《k8s中实现mysql主备过程详解》文章讲解了在K8s中使用StatefulSet部署MySQL主备架构,包含NFS安装、storageClass配置、MySQL部署及同步检查步骤,确保主备数据一致... 目录一、k8s中实现mysql主备1.1 环境信息1.2 部署nfs-provisioner1.2.

MySQL中VARCHAR和TEXT的区别小结

《MySQL中VARCHAR和TEXT的区别小结》MySQL中VARCHAR和TEXT用于存储字符串,VARCHAR可变长度存储在行内,适合短文本;TEXT存储在溢出页,适合大文本,下面就来具体的了解... 目录一、VARCHAR 和 TEXT 基本介绍1. VARCHAR2. TEXT二、VARCHAR

MySQL中C接口的实现

《MySQL中C接口的实现》本节内容介绍使用C/C++访问数据库,包括对数据库的增删查改操作,主要是学习一些接口的调用,具有一定的参考价值,感兴趣的可以了解一下... 目录准备mysql库使用mysql库编译文件官方API文档对象的创建和关闭链接数据库下达sql指令select语句前言:本节内容介绍使用C/

mybatis直接执行完整sql及踩坑解决

《mybatis直接执行完整sql及踩坑解决》MyBatis可通过select标签执行动态SQL,DQL用ListLinkedHashMap接收结果,DML用int处理,注意防御SQL注入,优先使用#... 目录myBATiFBNZQs直接执行完整sql及踩坑select语句采用count、insert、u

MySQL之搜索引擎使用解读

《MySQL之搜索引擎使用解读》MySQL存储引擎是数据存储和管理的核心组件,不同引擎(如InnoDB、MyISAM)采用不同机制,InnoDB支持事务与行锁,适合高并发场景;MyISAM不支持事务,... 目录mysql的存储引擎是什么MySQL存储引擎的功能MySQL的存储引擎的分类查看存储引擎1.命令

MyBatis Plus大数据量查询慢原因分析及解决

《MyBatisPlus大数据量查询慢原因分析及解决》大数据量查询慢常因全表扫描、分页不当、索引缺失、内存占用高及ORM开销,优化措施包括分页查询、流式读取、SQL优化、批处理、多数据源、结果集二次... 目录大数据量查询慢的常见原因优化方案高级方案配置调优监控与诊断总结大数据量查询慢的常见原因MyBAT

一文详解MySQL索引(六张图彻底搞懂)

《一文详解MySQL索引(六张图彻底搞懂)》MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度,:本文主要介绍MySQL索引的相关资料,文中通过代码介绍的... 目录一、什么是索引?为什么需要索引?二、索引该用哪种数据结构?1. 哈希表2. 跳表3. 二叉排序树4.