本文主要是介绍Flink 1.11.0 版本介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Flink 1.11.0
发布于 2020 年,引入下面的新特性:
- 为了缓解
backpressure
下的checkpointing
性能问题引入unaligned checkpoints
- 统一
Watermark Generator
接口 - 引入
Data Source API
- 为
kubernates
引入新的部署模式:application mode
Unaligned Checkpoints
触发一次 checkpoints
会导致一个检查点屏障(checkpoint barrier
)从 job
拓扑图的 source
一直流向 sink
。对于接收多个输入流的操作符(operator
)来说,流经每个通道的checkpoint barrier
需要对齐,然后操作符才能对其状态进行快照,并将checkpoint barrier
转发给下游。通常对齐操作只需要几毫秒,但是如果 job
处于 backpressure
状态,对齐操作可能会成为瓶颈。
- 检查点屏障通过反压通道的速度要慢得多,在
checkpointing
期间阻塞了剩余通道和上有操作符的速度</
这篇关于Flink 1.11.0 版本介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!