大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务

本文主要是介绍大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(正在更新!)

章节内容

上节完成了如下的内容:

  • 基础环境规划
  • 集群规划
  • 下载安装
  • Standalone模式启动

在这里插入图片描述

YARN模式部署

在这里插入图片描述

环境变量

vim /etc/profile
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

配置的结果如下图所示:
在这里插入图片描述
退出保存,并刷新环境变量。

yarn-site

cd /opt/servers/hadoop-2.9.2/etc/hadoop
vim yarn-site.xml

我们需要在原来的基础上,写入一些新的内容:

<!-- YRAN Flink 相关 -->
<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
<property><name>yarn.resourcemanager.address</name><value>h123.wzk.icu:8032</value>
</property>
<property><name>yarn.resourcemanager.scheduler.address</name><value>h123.wzk.icu:8030</value>
</property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>h123.wzk.icu:8031</value>
</property>

配置样式如下图所示:
在这里插入图片描述

同步配置

我们需要在:

  • h121 节点
  • h122 节点
  • h123 节点
    这三台机器上,都配置好一样的内容。

由于配置的过程基本重复,这里就跳过我配置的过程了,大致说一下需要配置的内容:

  • Flink环境
  • 环境变量profile
  • yarn-site
  • 停止Flink服务
  • 停止Hadoop集群等服务
  • 停止YARN集群等服务
  • 重启Hadoop集群
  • 重启YARN集群

我这里使用之前的 rsync-script 工具进行同步了:
在这里插入图片描述
漫长的等待之后,可以看到已经传输完毕了:
在这里插入图片描述

停止Hadoop

cd /opt/servers/hadoop-2.9.2/sbin
stop-all.sh

h121

在这里插入图片描述

停止YARN集群

h123

h123节点执行(ResourceManager节点在这里):
在这里插入图片描述

停止Flink

h121节点执行:

./stop-cluster.sh

在这里插入图片描述

停止结果

h121

(还剩下一个ZK的服务,非必须,想结束的话也可以结束掉)
在这里插入图片描述

h122

在这里插入图片描述

h123

在这里插入图片描述

启动Hadoop集群

一切确认没有问题之后,我们就可以重新启动了。

h121

start-all.sh

在这里插入图片描述

h122

在这里插入图片描述

h123

在这里插入图片描述

启动YARN集群

h123

为了防止YARN启动异常,我们需要到 h123 保证启动一次:

start-yarn.sh

在这里插入图片描述

申请资源

查看帮助

cd /opt/servers/flink-1.11.1/bin/
./yarn-session.sh -h

可以看到该脚本的说明如下:
在这里插入图片描述

测试脚本1 申请资源

./yarn-session.sh -n 2 -tm 800 -s 1 -d

上面的脚本的含义是:

  • -n 表示申请2个容器 这里就是指多少个TaskManager
  • -s 表示每个TaskManager的Slots数量
  • -tm 表示每个 TaskManager的内存大小
  • -d 表示后台的方式运行程序

脚本1 解释

上面的脚本会向YARN申请3个Container,即便写的是2个,因为ApplicationMaster和JobManager有一个额外的容器,一旦将Flink部署到YARN集群中,就会显示JobManger的连接详细信息。

2个Container启动TaskManager -n 2,每个TaskManager拥有1个TaskSlots -s 1,并且向每个TaskManager的Container申请800M的内存,以及一个 ApplicationMaster jobManager
如果不想让Flink YRAN客户端始终运行,那么也可以启动分离的YARN会话,被参数被称为-d或–detached,这种情况下,Flink YARN客户端只会将Flink提交给集群,然后关闭它自己。

整个过程大概是:yarn-session.sh(开辟资源) + Flink run(提交任务)

  • 使用Flink中的yarn-session,会启动两个必要服务JobManager和TaskManager
  • 客户端通过Flink run提交作业
  • yarn-session 会一直启动,不停的接收客户端提交的作业
  • 这种方式创建的Flink集群会独占资源
  • 如果有大量的 作业/任务 较小、工作时间短,适合使用这种方式,减少资源创建的时间。

脚本1 执行结果

可以看到一些日志内容:

2024-07-24 16:34:33,236 WARN  org.apache.flink.yarn.configuration.YarnLogConfigUtil        [] - The configuration directory ('/opt/servers/flink-1.11.1/conf') already contains a LOG4J config file.If you want to use logback, then please delete or rename the log configuration file.
2024-07-24 16:34:33,381 INFO  org.apache.hadoop.yarn.client.RMProxy                        [] - Connecting to ResourceManager at h123.wzk.icu/124.223.26.81:8032
2024-07-24 16:34:33,724 INFO  org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from fraction jvm overhead memory (160.000mb (167772162 bytes)) is less than its min value 192.000mb (201326592 bytes), min value will be used instead
2024-07-24 16:34:33,734 INFO  org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from fraction jvm overhead memory (172.800mb (181193935 bytes)) is less than its min value 192.000mb (201326592 bytes), min value will be used instead
2024-07-24 16:34:34,210 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - The configured JobManager memory is 1600 MB. YARN will allocate 2048 MB to make up an integer multiple of its minimum allocation memory (1024 MB, configured via 'yarn.scheduler.minimum-allocation-mb'). The extra 448 MB may not be used by Flink.
2024-07-24 16:34:34,211 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - The configured TaskManager memory is 1728 MB. YARN will allocate 2048 MB to make up an integer multiple of its minimum allocation memory (1024 MB, configured via 'yarn.scheduler.minimum-allocation-mb'). The extra 320 MB may not be used by Flink.

运行过程如下图所示:
在这里插入图片描述

测试脚本2 提交运行

我们也可以直接在YARN上提交运行Flink作业(Run a Flink job on YARN)

./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /opt/wzk//WordCount.jar

上述参数的一些解释:

  • -m JobManager 的地址
  • -yn TaskManager的个数

停止 yarn-cluster

yarn application -kill application_xxxxxxxxx

脚本2 解释

在这里插入图片描述

这篇关于大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123814

相关文章

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

Nginx location匹配模式与规则详解

《Nginxlocation匹配模式与规则详解》:本文主要介绍Nginxlocation匹配模式与规则,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、环境二、匹配模式1. 精准模式2. 前缀模式(不继续匹配正则)3. 前缀模式(继续匹配正则)4. 正则模式(大

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr