Hadoop大数据应用:Yarn 节点实现扩容与缩容

2024-03-15 09:28

本文主要是介绍Hadoop大数据应用:Yarn 节点实现扩容与缩容,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  一、实验

1.环境

2.Yarn 节点扩容

3.Yarn 节点缩容

二、问题

1.yarn启动服务报错


  一、实验

1.环境

(1)主机

表1  主机

主机架构软件版本IP备注
hadoop

NameNode (已部署)

SecondaryNameNode (已部署)

ResourceManager(已部署)

hadoop

2.7.7192.168.204.50

node01

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.51
node02

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.52
node03

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.53
node05NodeManager

hadoop

2.7.7192.168.204.55

(2)查看jps

hadoop节点

[root@hadoop hadoop]# jps

node01节点

node02节点

node03节点

(3) 查看节点

[root@hadoop hadoop]# ./bin/yarn node -list
24/03/14 13:40:21 INFO client.RMProxy: Connecting to ResourceManager at hadoop/192.168.204.50:8032
Total Nodes:3Node-Id             Node-State Node-Http-Address       Number-of-Running-Containersnode01:40551                RUNNING       node01:8042                                  0node02:46073                RUNNING       node02:8042                                  0node03:40601                RUNNING       node03:8042                                  0

2.Yarn 节点扩容

(1)查看IP

地址为192.168.204.55

[root@localhost ~]# ip addr

 (2)安全机制

查看

[root@localhost ~]# sestatus

关闭

[root@localhost ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

再次查看(需要reboot重启)

[root@localhost ~]# sestatus

(3)防火墙

关闭

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl mask firewalld

(4)安装java

[root@localhost ~]# yum install -y java-1.8.0-openjdk-devel.x86_64

查看

[root@localhost ~]# jps

 (5)修改主机名

[root@localhost ~]# hostnamectl set-hostname node05
[root@localhost ~]# bash

(6)添加免密登录

[root@hadoop ~]# cd /root/.ssh/
[root@hadoop .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub 192.168.204.55

验证:

[root@hadoop .ssh]# ssh 192.168.204.55

 (7)域名主机名(hadoop节点)

[root@hadoop ~]# vim /etc/hosts
……
192.168.205.50 hadoop
192.168.205.51 node01
192.168.205.52 node02
192.168.205.53 node03
192.168.204.54 node04
192.168.204.55 node05

(8)同步域名配置文件


[root@hadoop ~]# rsync -av /etc/hosts node01:/etc/
sending incremental file list
hostssent 382 bytes  received 41 bytes  282.00 bytes/sec
total size is 291  speedup is 0.69
[root@hadoop ~]# rsync -av /etc/hosts node02:/etc/
sending incremental file list
hostssent 382 bytes  received 41 bytes  282.00 bytes/sec
total size is 291  speedup is 0.69
[root@hadoop ~]# rsync -av /etc/hosts node03:/etc/
sending incremental file list
hostssent 382 bytes  received 41 bytes  846.00 bytes/sec
total size is 291  speedup is 0.69
[root@hadoop ~]# rsync -av /etc/hosts node05:/etc/
Warning: Permanently added 'node05' (ECDSA) to the list of known hosts.
sending incremental file list
hostssent 382 bytes  received 41 bytes  846.00 bytes/sec
total size is 291  speedup is 0.69

(9)同步Hadoop文件

[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop node05:/usr/local/

(10) 清除日志(node05节点)

[root@node05 ~]# cd /usr/local/hadoop/
[root@node05 hadoop]# ls
bin  etc  include  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share
[root@node05 hadoop]# cd logs/
[root@node05 logs]# ls
hadoop-root-balancer-hadoop.log  hadoop-root-namenode-hadoop.out           hadoop-root-secondarynamenode-hadoop.out    yarn-root-resourcemanager-hadoop.log
hadoop-root-balancer-hadoop.out  hadoop-root-namenode-hadoop.out.1         hadoop-root-secondarynamenode-hadoop.out.1  yarn-root-resourcemanager-hadoop.out
hadoop-root-namenode-hadoop.log  hadoop-root-secondarynamenode-hadoop.log  SecurityAuth-root.audit
[root@node05 logs]# rm -f *
[root@node05 logs]# ls
[root@node05 logs]#

(11)启动服务 (node05节点)

[root@node05 hadoop]# ./sbin/yarn-daemon.sh start nodemanager

查看jps 出现新角色

(15) 验证 (hadoop节点)

服务已互通

[root@hadoop hadoop]#  ./bin/yarn node -list
24/03/14 18:07:06 INFO client.RMProxy: Connecting to ResourceManager at hadoop/192.168.204.50:8032
Total Nodes:4Node-Id             Node-State Node-Http-Address       Number-of-Running-Containersnode01:40551                RUNNING       node01:8042                                  0node05:39920                RUNNING       node05:8042                                  0node02:46073                RUNNING       node02:8042                                  0node03:40601                RUNNING       node03:8042                                  0

3.Yarn 节点缩容

(1)删除节点 (node05节点)

[root@node05 hadoop]# ./sbin/yarn-daemon.sh stop nodemanager

查看jps

(2)验证 (hadoop节点)

这时node05节点还在(因为存在检测超时)

[root@hadoop hadoop]#  ./bin/yarn node -list

(3) 停止服务(hadoop节点)

[root@hadoop hadoop]# ./sbin/yarn-daemon.sh stop resourcemanager

(4)启动服务(hadoop节点)

[root@hadoop hadoop]# ./sbin/yarn-daemon.sh start resourcemanager

(5)验证 (hadoop节点)

这时暂无节点,需要等待30秒-1分钟

[root@hadoop hadoop]#  ./bin/yarn node -list

(6)再次验证 (hadoop节点)

node05节点已移除

[root@hadoop hadoop]#  ./bin/yarn node -list

二、问题

1.yarn启动服务报错

(1)报错

错误: 找不到或无法加载主类 nodemanager

(2)原因分析

命令错误。

(3)解决方法

修改命令,hadoop-daemon.sh 改为 yarn-daemon.sh

[root@node05 hadoop]# ./sbin/yarn-daemon.sh start nodemanager

这篇关于Hadoop大数据应用:Yarn 节点实现扩容与缩容的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/811489

相关文章

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间

Python实现精准提取 PDF中的文本,表格与图片

《Python实现精准提取PDF中的文本,表格与图片》在实际的系统开发中,处理PDF文件不仅限于读取整页文本,还有提取文档中的表格数据,图片或特定区域的内容,下面我们来看看如何使用Python实... 目录安装 python 库提取 PDF 文本内容:获取整页文本与指定区域内容获取页面上的所有文本内容获取

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程

《SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程》LiteFlow是一款专注于逻辑驱动流程编排的轻量级框架,它以组件化方式快速构建和执行业务流程,有效解耦复杂业务逻辑,下面给大... 目录一、基础概念1.1 组件(Component)1.2 规则(Rule)1.3 上下文(Conte