Flink 异常 - 11.单台 Container 内存异常增加导致 Container 被 kill 排查

一.引言

Flink 使用期间 Failed 报错：running beyond physical memory limits，并因此将对应 container kill 掉，下面排查异常原因。

2022-10-09 21:43:45,321 INFO  org.apache.flink.runtime.resourcemanager.active.
ActiveResourceManager [] - Worker container_xxx_000059 is terminated. 
Diagnostics: Container [pid=56308,containerID=container_xxx_000059] 
is running beyond physical memory limits. Current usage: 11.0 GB of 11 GB
physical memory used; 13.4 GB of 23.1 GB virtual memory used. Killing container.

二.分析与定位

1.内存监控

查看异常期间各个 container 内存使用情况：

发现 000059 对应的 containe TM 物理内存占用异军突起，在其他 container 都在 6-7G 期间，000059 已经达到 9.82 接近 10G，所以只需定位 000059 container 具体代码执行情况即可。