大数据-121 - Flink Time Watermark 详解 附带示例详解

2024-09-06 12:12
文章标签 数据 详解 附带 121 示例 flink time watermark

本文主要是介绍大数据-121 - Flink Time Watermark 详解 附带示例详解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（正在更新！）

章节内容

上节我们完成了如下的内容：

  • 滑动窗口：时间驱动、事件驱动
  • 会话窗口：时间驱动、事件驱动

在这里插入图片描述

Time

在Flink的流式处理中，会涉及到时间的不同概念， 如下图所示：
在这里插入图片描述

  • EventTime[事件时间]：事件发生的时间，例如：点击网站上的某个链接的时间，每一条日志都会记录自己的生成时间，如果EventTime为基准来定义时间窗口那将形成EventTimeWindow，要求消息本身就应该携带EventTime
  • IngestionTime[摄入时间]：数据进入Flink时间，如某个Flink节点SourceOperator接收到数据的时间，例如：某个Source消费到Kafka中的数据，如果以IngesingTime为基准来定义时间窗口那将形成IngestingTimeWindow，以Source的SystemTime为准
  • ProcessingTime[处理时间]：某个Flink节点执行某个Operation的时间，例如：TimeWindow处理数据时的系统时间，默认时间的属性就是ProcessingTime。如果以ProcessingTime基准来定义时间窗口将形成ProcessingTimeWindow，以Operator的SystemTime为准

在Flink的流式处理中，绝大部分的业务都会使用EventTime，一般只在EventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime。
如果使用EventTime，那么需要引入EventTime的事件属性，引入方式如下所示：

# 设置使用事件时间
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

基本概念

在 Apache Flink 中，Time Watermark（时间水印）是处理事件时间（Event Time）流处理的核心概念之一。它用于解决乱序事件的问题，帮助系统正确地按照事件发生的时间顺序进行处理。下面是详细解释：

事件时间（Event Time）和处理时间（Processing Time）

事件时间（Event Time）：事件生成时所关联的时间戳。例如，一条日志记录的生成时间。
处理时间（Processing Time）：事件到达 Flink 处理节点时的时间。这取决于系统的时间。
在实际的流处理中，事件的到达顺序可能会与它们的事件时间不一致，因为网络延迟、分布式系统等原因导致事件乱序。因此，使用事件时间而非处理时间来处理流数据更能准确反映数据的真实生成顺序。

乱序事件

乱序事件指的是数据流中的事件没有按照事件时间的顺序进入流处理系统。例如，事件A的事件时间是 12:00:01，事件B是 12:00:02，但事件B可能会比事件A先到达处理系统。

为了处理这种乱序问题，Flink 引入了 Watermark 机制。

什么是 Watermark

Watermark 是一个特殊的标志，它用于告诉 Flink 数据流中事件的进展情况。简单来说，Watermark 是 Flink 中估计的“当前时间”，表示所有早于该时间戳的事件都已经到达。

Watermark 的定义

Flink 认为当前时间在 Watermark 时间戳之前的所有事件已经接收完毕，不再期待有早于该时间戳的事件。
当 Watermark 时间戳更新时，系统可以触发基于事件时间的窗口操作，比如窗口计算、聚合等。
示例： 假设 Watermark 当前的值是 12:00:00，那么 Flink 认为 12:00:00 之前的事件已经全部到达，不会再有更早的事件来临。这时系统可以处理 12:00:00 之前的事件并触发窗口计算。

Watermark 生成方式

Watermark 可以通过自定义来生成，也可以使用内置策略。在常见情况下，Watermark 生成方式有两种：

a. 固定延迟策略（Fixed Delay）

最简单的 Watermark 生成方式是引入固定的延迟。例如，假设延迟 5 秒生成 Watermark，那么每个事件时间戳减去 5 秒就是当前的 Watermark。

b. 周期性生成 Watermark

Flink 允许 Watermark 定期生成，可以通过定期检查数据流中的最大时间戳来生成新的 Watermark。

数据延迟问题

示例1

现在假设，你正在去往地下停车场的路上，并且打算用手机点一份外卖。
选好了外卖之后，你就用在线支付功能付款了，这个时候是 11点50分。
但是这时，你走进了地下停车库，而这里没有手机信号，因此外卖的在线支付并没有立刻成功，而支付系统一直在Retry这个操作。
当你找到了自己的车并开出停车场的时候，已经是 12点05分了，而支付数据的处理时间是 12点05 分。
一般在实际开发中会以事件时间作为计算标准。

示例2

在这里插入图片描述

  • 一条日志进入Flink的事件为 2024-07-27 10:00:01 摄入时间
  • 到达Window系统的时间是 2024-07-27 10:00:02 处理时间
  • 日志内容为：2024-07-27 09:59:5- INFO Fail Over 事件时间

对于业务来说，要统计1小时内的故障日志的个数，哪个时间最有意义？当然是事件时间。
EventTime，因为我们要根据日志的生成时间进行统计。

示例3

某APP记录用户的所有点击行为，并回传日志，（在网络不好的情况下，先保存本地，延后回传）。
A用户在 11:02 对APP进行操作，B用户在 11:03 操作了APP。
但是A用户的网络太不稳定，回传日志延迟了，导致我们服务端先接受到B的消息，再接收到A的消息，消息乱序了。

示例4

在实际环境中，经常会出现，因为网络原因，数据有可能会延迟一会儿才到达Flink实时处理系统，我们先来设想一下下面的场景：
在这里插入图片描述

  • 使用时间窗口来统计10分钟内的用户流量
  • 有一个时间窗口：开始时间 2024-07-27 10:00:00，结束时间 2024-07-27 10:10:00
  • 有一个数据，因为网络延迟：事件发生的时间为：2024-07-27 10:10:00，但进入到窗口的事件为：2024-07-27 10:10:02 延迟2秒

这种处理方式，根据消息进入到Window时间，来进行计算，在网络有延迟的时候，会引起计算误差。

如何解决

使用水印来解决网络延迟的问题。
通过上面的例子，我们知道，在进行数据处理的时候应该按照事件时间进行处理，也就是窗口应该要考虑到事件时间。
但是窗口不能无限的一直等待延迟数据的到来，需要有一个触发窗口计算的进制，也就是我们接下来要学的Watermark水位线/水印机制。

WaterMark

水印（Watermark）就是一个时间戳，Flink可以给数据流添加水印，可以理解为：

  • 收到一条消息后，额外给这个消息添加一个时间字段，这就是添加水印。
  • 水印并不影响原有EventTime事件时间
  • 当数据流添加水印后，按照水印时间来触发窗口计算：也就是Watermark水印是用来触发窗口计算的
  • 一般会设置水印时间，比事件时间小几秒钟，表示最大允许数据延迟到达多久（即水印时间 = 事件时间 - 允许延迟时间）
  • 当接收到的 水印时间 >= 窗口结束时间，则触发计算，如等到一条数据的水印时间为 10:10:03 >= 10:10:00 才触发计算，也就是要等到事件为 10:10:03的数据到来才触发计算

在这里插入图片描述

解决总结

Watermark是用来解决延迟数据的问题，如窗口：10:00:00 ~ 10:10:00
而数据到达的顺序是：A 10:10:00，B 10:09:58
如果没有Watermark，那么A数据将会触发窗口计算，B数据来了窗口已经关闭，则该数据丢失。
如果有了 Watermark，设置允许数据迟到的阈值为3秒。
那么该窗口的结束条件则为水印：水印时间 >= 窗口结束时间 10:10:00，也就是需要一条数据的水印事件=10:10:00
而水印时间10:10:00 = 事件时间 - 延迟时间 3 秒
也就是需要有一条事件为10:10:03的数据到来，才会触发真正的计算。
而上面的A 10:10:00，B 10:09:58 都不会触发计算，也就是会被窗口包含，直到10:10:03的数据到来才会计算窗口 10:00:00 - 10:10:00 的数据。

Watermark

实现步骤

  • 获取数据源
  • 转化
  • 声明水印（Watermark）
  • 分组聚合，调用Window操作
  • 保存处理结果

注意事项

当使用 EventTimeWindow时，所有的Window在EventTime的时间轴上进行划分，也就是说，在Window启动后，会根据初始的EventTime时间每隔一段时间划分一个窗口，如果Window大小是3秒，那么1分钟内会把Window划分为如下的形式：

[00:00:00,00:00:03)
[00:00:03,00:00:06)
[00:00:03,00:00:09)
[00:00:03,00:00:12)
[00:00:03,00:00:15)
[00:00:03,00:00:18)
[00:00:03,00:00:21)
[00:00:03,00:00:24)
  • 窗口是左闭右开，形式为为：[window_start_time, window_end_time)
  • Window的设定基于第一条消息的事件时间，也就是说，Window会一直按照指定的时间间隔进行划分，不论这个Window中没有数据，EventTime 在这个Window期间的数据会进入这个Window
  • Window会不断产生，属于这个Window范围的数据会不断加入到Window中，所有未被触发的Window都会等待出发，只要Window还没出发，属于这个Window范围的数据就会一直被加入到Window中，直到Window被处罚才会停止数据的追加，而当Window触发之后才接收到属于被触发Window的数据会被丢弃。
  • Window会在以下的条件满足时才会被处罚执行：（1）在[window_start_time, window_end_time)窗口中有数据存在，（2）Watermark时间 >= window_end_time

一般会设置水印时间，比事件时间小几秒钟，表示最大允许数据延迟到达是多久：水印时间=事件时间-允许延迟时间。
当接收到水印时间 >= 窗口结束时间 且 窗口内有数据，则触发计算：事件时间 - 允许延迟时间 >= 窗口结束时间 或 事件时间 >= 窗口结束时间 + 允许延迟时间

这篇关于大数据-121 - Flink Time Watermark 详解 附带示例详解的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1141974。

相关文章

MySQL数据库双机热备的配置方法详解

MySQL数据库双机热备的配置方法详解

《MySQL数据库双机热备的配置方法详解》在企业级应用中,数据库的高可用性和数据的安全性是至关重要的,MySQL作为最流行的开源关系型数据库管理系统之一,提供了多种方式来实现高可用性,其中双机热备（M... 目录1. 环境准备1.1 安装mysql1.2 配置MySQL1.2.1 主服务器配置1.2.2 从
阅读更多...
Linux kill正在执行的后台任务 kill进程组使用详解

Linux kill正在执行的后台任务 kill进程组使用详解

《Linuxkill正在执行的后台任务kill进程组使用详解》文章介绍了两个脚本的功能和区别,以及执行这些脚本时遇到的进程管理问题,通过查看进程树、使用`kill`命令和`lsof`命令,分析了子... 目录零. 用到的命令一. 待执行的脚本二. 执行含子进程的脚本，并kill2.1 进程查看2.2 遇到的
阅读更多...
MyBatis常用XML语法详解

MyBatis常用XML语法详解

《MyBatis常用XML语法详解》文章介绍了MyBatis常用XML语法,包括结果映射、查询语句、插入语句、更新语句、删除语句、动态SQL标签以及ehcache.xml文件的使用,感兴趣的朋友跟随小... 目录1、定义结果映射2、查询语句3、插入语句4、更新语句5、删除语句6、动态 SQL 标签7、ehc
阅读更多...
详解SpringBoot+Ehcache使用示例

详解SpringBoot+Ehcache使用示例

《详解SpringBoot+Ehcache使用示例》本文介绍了SpringBoot中配置Ehcache、自定义get/set方式,并实际使用缓存的过程,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录摘要概念内存与磁盘持久化存储：配置灵活性：编码示例引入依赖：配置ehcache.XML文件：配置
阅读更多...
从基础到高级详解Go语言中错误处理的实践指南

从基础到高级详解Go语言中错误处理的实践指南

《从基础到高级详解Go语言中错误处理的实践指南》Go语言采用了一种独特而明确的错误处理哲学,与其他主流编程语言形成鲜明对比,本文将为大家详细介绍Go语言中错误处理详细方法,希望对大家有所帮助... 目录1 Go 错误处理哲学与核心机制1.1 错误接口设计1.2 错误与异常的区别2 错误创建与检查2.1 基础
阅读更多...
k8s按需创建PV和使用PVC详解

k8s按需创建PV和使用PVC详解

《k8s按需创建PV和使用PVC详解》Kubernetes中,PV和PVC用于管理持久存储,StorageClass实现动态PV分配,PVC声明存储需求并绑定PV,通过kubectl验证状态,注意回收... 目录1.按需创建 PV（使用 StorageClass）创建 StorageClass2.创建 PV
阅读更多...
Python版本信息获取方法详解与实战

Python版本信息获取方法详解与实战

《Python版本信息获取方法详解与实战》在Python开发中,获取Python版本号是调试、兼容性检查和版本控制的重要基础操作,本文详细介绍了如何使用sys和platform模块获取Python的主... 目录1. python版本号获取基础2. 使用sys模块获取版本信息2.1 sys模块概述2.1.1
阅读更多...
一文详解Python如何开发游戏

一文详解Python如何开发游戏

《一文详解Python如何开发游戏》Python是一种非常流行的编程语言,也可以用来开发游戏模组,：本文主要介绍Python如何开发游戏的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录一、python简介二、Python 开发 2D 游戏的优劣势优势缺点三、Python 开发 3D
阅读更多...
Redis 基本数据类型和使用详解

Redis 基本数据类型和使用详解

《Redis基本数据类型和使用详解》String是Redis最基本的数据类型,一个键对应一个值,它的功能十分强大,可以存储字符串、整数、浮点数等多种数据格式,本文给大家介绍Redis基本数据类型和... 目录一、Redis 入门介绍二、Redis 的五大基本数据类型2.1 String 类型2.2 Hash
阅读更多...
Java中的.close()举例详解

Java中的.close()举例详解

《Java中的.close()举例详解》.close()方法只适用于通过window.open()打开的弹出窗口,对于浏览器的主窗口,如果没有得到用户允许是不能关闭的,：本文主要介绍Java中的.... 目录当你遇到以下三种情况时，一定要记得使用 .close()：用法作用举例如何判断代码中的 input
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2