【大数据】Flink 内存管理（四）：TaskManager 内存分配（实战篇）

本文主要是介绍【大数据】Flink 内存管理（四）：TaskManager 内存分配（实战篇），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《Flink 内存管理》系列（已完结），共包含以下 4 篇文章：

😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧（点赞 🧡、关注 💛、收藏 💚）！！！您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容！！！

在《Flink 内存管理（一）：设置 Flink 进程内存》中我们提到，必须使用下述三种方法之一配置 Flink 的内存（本地执行除外），否则 Flink 启动将失败。这意味着必须明确配置以下选项子集之一，这些子集没有默认值。

序号	for TaskManager	for JobManager
1️⃣	`taskmanager.memory.flink.size`	`jobmanager.memory.flink.size`
2️⃣	`taskmanager.memory.process.size`	`jobmanager.memory.process.size`
3️⃣	`taskmanager.memory.task.heap.size` 和 `taskmanager.memory.managed.size`	`jobmanager.memory.heap.size`

1.单独分配 Total Process Size

单独分配 Total Process Size，其它的组件都会自动分配。

taskmanager.memory.process.size: 2000m

在这里插入图片描述

内存分配步骤如下：

可以与以下的日志进行对比，完全能对上，😁😁😁！

在这里插入图片描述

taskmanager.memory.flink.size: 2000m

假如直接只分配 taskmanager.memory.flink.size: 2000m

Total Flink Size $= 2000 M$
Managed Memory $= 2000 M \times 0.4 = 800 M$
NetWork Memory $= 2000 M \times 0.1 = 200 M$
Framework Off-Heap $= 128 M$
Task Off-Heap $= 0 B y t e = 0 M$
⭐ 所以 Total Direct Memory $= 200 M + 128 M + 0 M = 328 M$
Total Off-Heap Memory $= 800 M + 328 M = 1128 M$
Total JVM Heap $= 2000 M - 800 M - 328 M = 872 M$
Framework Heap $= 128 M$
Task Heap $= 872 M - 128 M = 744 M$
JVM MetaSpace $= 256 M$ （默认）
JVM Overhead $= ($ JVM Overhead $+\ 256M$ Metaspace $+\ 2000M$ Total Flink Size $) \times 0.1$ ，求解 JVM Overhead $= 250.667 M$ 在 $192 MB ～ 1 GB$ ，生效
Total Process Size $= 2000 M + 256 M + 250.667 M = 2506.667 M = 2.448 GB$

在这里插入图片描述

taskmanager.memory.task.heap.size: 1000m
taskmanager.memory.managed.size: 1000m

Framework Heap $= 128 M$ （默认）
Task Heap $= 1000 M$ （配置）
Total JVM Heap $= 1000 M + 128 M = 1128 M = 1.102 GB$
Managed Memory $= 1000 M$ （配置）
Framework Off-Heap $= 128 M$
Task Off-Heap $= 0 M$
NetWork $=$ Total Flink Size $×\ 0.1$ $= ($ NetWork $+\ 1128M + 1000M + 128M + 0M) × 0.1$ ，计算得到 Network $= 250.667 MB$ ，处于 $64 MB ～ 1 GB$ ，有效
⭐ 所以 Total Direct Memory $= 128 M + 250.667 M = 378.667 M$
Total Flink Size $= 1128 M + 1378.667 M = 2506.667 M = 2.448 GB$
JVM Metaspace $= 256 M$ （默认）
JVM Overhead $= ($ JVM Overhead $+\ 1128M + 1000M + 378.667M + 256M) × 0.1 = 306.963M$ ，处于 $192 M ～ 1 GB$ ，有效
Total Process Size $= 2506.667 M + 256 M + 306.963 M = 3069.63 M = 2.998 G$

在这里插入图片描述

指定 Total Process Size，同时显式分配组件 JVM Heap 和 Mamaged Memory。

taskmanager.memory.process.size: 3000m
taskmanager.memory.task.heap.size: 1000m
taskmanager.memory.managed.size: 1000m

Total Process Size $= 3000 M$
Framework Heap $= 128 M$ （默认）
Task Heap $= 1000 M$ （配置）
Total JVM Heap $=$ Framework Heap $+$ Task Heap $= 128 M + 1000 M = 1128 M = 1.102 G$
Managed Memory $= 1000 M$ （配置）
Framework Off-Heap $= 128 M$ （默认）
Task Off-Heap $= 0 M$ （默认）
Network Memory $= ($ Network Memory $+\ 1128M + 1128M) × 0.1 = 250.667M$ ，在 $64 M ～ 1 GB$ 之间，满足要求
Total Off-Heap $= 1000 M + 128 M + 250.667 M + 0 M = 1378.667 M = 1.346 GB$
Total Flink Size $= 1128 M + 1378.667 M = 2506.667 M = 2.448 GB$
JVM Metaspace $= 256 M$
JVM Overhead $= 3000 M - 2506.667 M - 256 M = 237.333 M$ ，在 $192 M ～ 1 GB$ 之间，满足要求

在这里插入图片描述

指定 Total Flink Size，同时显式分配组件 JVM Heap 和 Mamaged Memory。

taskmanager.memory.flink.size: 3000m
taskmanager.memory.task.heap.size: 1000m
taskmanager.memory.managed.size: 1000m

Total Flink Size $= 3000 M = 2.93 GB$ （配置）
Managed Memory $= 1000 M$ （配置）
Task Heap $= 1000 M$ （配置）
Framework Heap $= 128 M$ （默认）
Total JVM Heap $=$ Framework Heap + Task Heap $= 128 M + 1000 M = 1128 M$
Total Off-Heap Memory $= 3000 M - 1128 M = 1872 M = 1.828 GB$
Direct Memory $=$ Total Off-Heap Memory - Managed Memory $= 1872 M - 1000 M = 872 M$
Task Off-Heap $= 0 M$ （默认）
Framework Off-Heap $= 128 M$ （默认）
Network Memory $=$ Direct Memory $-$ Task Off-Heap - Framework Off-Heap $= 872 M - 0 M - 128 M = 744 M$
JVM Metaspace $= 256 M$ （默认）
JVM Overhead $= ($ JVM Overhead $+\ 3000M + 256M) × 0.1$ ，计算得到 JVM Overhead $= 361.778 M$ ，处于 $192 M ～ 1 G$ 之间，符合条件
Total Process Size $= 3000 M + 256 M + 361.778 M = 3617.778 M = 3.533 GB$

在这里插入图片描述

在 Flink 的集群内存分配的过程中，我们大致可以通过 $3$ 种方式进行分配。