Hadoop 搭建分布式环境 hadoop-3.0.0.tar.gz

2024-05-26 04:48
文章标签 搭建 环境 分布式 hadoop tar 3.0 gz

本文主要是介绍Hadoop 搭建分布式环境 hadoop-3.0.0.tar.gz，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 使用3台CentOS7虚拟机

关闭防火墙

# systemctl stop firewalld
# systemctl disable firewalld

主机名和IP地址

node4111：172.16.18.59
node4113：172.16.18.62
node4114：172.16.18.63

每个主机修改hosts
vim /etc/hosts

172.16.18.59 node4111
172.16.18.62 node4113
172.16.18.63 node4114
1.1 hadoop 角色分布
node4111：NameNode/DataNode  ResourceManager/NodeManager
node4113：DataNode   NodeManager
node4114：DataNode   NodeManager
2.设置SSH免密钥

在每台主机上执行，一直回车
/root/目录下会生产一个隐藏目录.ssh

ssh-keygen -t rsa

在node4111主机上执行，

ssh-copy-id  -i /root/.ssh/id_rsa.pub node4111
ssh-copy-id  -i /root/.ssh/id_rsa.pub node4113
ssh-copy-id  -i /root/.ssh/id_rsa.pub node4114

查看每个主机文件

cat /root/.ssh/authorized_keys
3. 下载JDK 和 Hadoop

JDK下载页面

Hadoop下载页面

安装软件版本为

hadoop-3.0.0.tar.gz
jdk-10_linux-x64_bin.tar.gz

/root/目录下新建目录had，解压软件

tar -zxvf hadoop-3.0.0.tar.gz -C had
tar -zxvf jdk-10_linux-x64_bin.tar.gz -C had

配置环境变量

export JAVA_HOME=/root/had/jdk-10
export PATH=$JAVA_HOME/bin:$PATHexport HADOOP_HOME=/root/had/hadoop-3.0.0
export PATH=$HADOOP_HOME:/bin:$PATH

export HADOOP_HOME=/root/had/hadoop-3.0.0
export HADOOP_HDFS_HOME=/root/had/hadoop-3.0.0
export HADOOP_CONF_DIR=/root/had/hadoop-3.0.0/etc/hadoop
source .bash_profile
测试 
# java 有输出
4. hadoop 配置和分发

hadoop 集群安装
hadoop添加到环境变量

export HADOOP_HOME=/root/had/hadoop-3.0.0
export PATH=$HADOOP_HOME:/bin:$PATH
source .bash_profile
路径
/root/had/hadoop-3.0.0/etc/hadoop

1) vim hadoop-env.sh

修改
export JAVA_HOME=/root/had/jdk-1

2) vim core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://node4111:9000</value></property>
</configuration>

3) vim hdfs-site.xml
/root/had 目录下新建目录tmp

<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>/root/had/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/root/had/tmp/dfs/data</value></property>
</configuration>

4) vim yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>node4111</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
<property><name>yarn.nodemanager.resource.memory-mb</name><value>49152</value>
</property>
<property><name>yarn.scheduler.maximum-allocation-mb</name><value>49152</value>
</property></configuration>

5) vim mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property>  <name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value>  
</property>  
<property>  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property> </configuration>

6: vim workers 

node4111
node4113
node4114
5. 分发安装包到其它2个节点
scp -r /root/had root@node4113:/root/
scp -r /root/had root@node4114:/root/
scp -r /root/.bash_profile root@node4113:/root/  
scp -r /root/.bash_profile root@node4114:/root/

在2个节点上执行

source .bash_profile
6. HFS NameNode 格式化

只在node4111上执行

/root/had/tmp
目录为空

/root/had/hadoop-3.0.0/bin
路径下执行   
./hdfs namenode -format
打印信息
Storage directory /root/had/tmp/dfs/name has been successfully formatted
7. 启动 hadoop
/root/had/hadoop-3.0.0/etc/hadoop

vim hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=rootexport HDFS_SECONDARYNAMENODE_USER=root
路径
/root/had/hadoop-3.0.0/sbin
./start-all.sh
8. 验证

在各个节点上执行JPS 查看角色服务

# jps8065 DataNode
7908 NameNode
17101 Jps
16159 SecondaryNameNode
9. hadoop web登陆
浏览NameNode的Web界面; 默认情况
http://172.16.18.64:9870
# pwd
/root/had/hadoop-3.0.0/bin# ./hdfs dfs -mkdir /user# ./hdfs dfs -mkdir /input
# ./hdfs dfs -put /root/had/hadoop-3.0.0/etc/hadoop/*.xml /input# ./hdfs dfs -ls /input
hdfs dfs –cat 
hdfs dfs –text

参考：
a.hadoop-3.0.0集群环境搭建、配置
b.linux 下安装hadoop hadoop-3.0.0-alpha4.tar.gz
c.Hadoop：设置单个节点群集
1.在 CentOS 7.2 下安装 Hadoop 2.7.5 并搭建伪分布式环境的方法
2.linux添加用户，用户组（centos7）

这篇关于Hadoop 搭建分布式环境 hadoop-3.0.0.tar.gz的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1003549。

相关文章

一文详解如何在idea中快速搭建一个Spring Boot项目

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热
阅读更多...
python常见环境管理工具超全解析

python常见环境管理工具超全解析

《python常见环境管理工具超全解析》在Python开发中,管理多个项目及其依赖项通常是一个挑战,下面：本文主要介绍python常见环境管理工具的相关资料,文中通过代码介绍的非常详细,需要的朋友... 目录1. conda2. pip3. uvuv 工具自动创建和管理环境的特点4. setup.py5.
阅读更多...
Python中使用uv创建环境及原理举例详解

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,：本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点：二、安装uv1. 通过pip安装2. 通过脚本安装验证安装：配置镜像源（可
阅读更多...
python获取cmd环境变量值的实现代码

python获取cmd环境变量值的实现代码

《python获取cmd环境变量值的实现代码》：本文主要介绍在Python中获取命令行（cmd）环境变量的值,可以使用标准库中的os模块,需要的朋友可以参考下... 前言全局说明在执行py过程中，总要使用到系统环境变量一、说明1.1 环境:Windows 11 家庭版 24H2 26100.4061
阅读更多...
如何搭建并配置HTTPD文件服务及访问权限控制

如何搭建并配置HTTPD文件服务及访问权限控制

《如何搭建并配置HTTPD文件服务及访问权限控制》：本文主要介绍如何搭建并配置HTTPD文件服务及访问权限控制的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、安装HTTPD服务二、HTTPD服务目录结构三、配置修改四、服务启动五、基于用户访问权限控制六、
阅读更多...
pytest+allure环境搭建+自动化实践过程

pytest+allure环境搭建+自动化实践过程

《pytest+allure环境搭建+自动化实践过程》：本文主要介绍pytest+allure环境搭建+自动化实践过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、pytest下载安装1.1、安装pytest1.2、检测是否安装成功二、allure下载安装2.
阅读更多...
使用vscode搭建pywebview集成vue项目实践

使用vscode搭建pywebview集成vue项目实践

《使用vscode搭建pywebview集成vue项目实践》：本文主要介绍使用vscode搭建pywebview集成vue项目实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录环境准备项目源码下载项目说明调试与生成可执行文件核心代码说明总结本节我们使用pythonpywebv
阅读更多...
VS配置好Qt环境之后但无法打开ui界面的问题解决

VS配置好Qt环境之后但无法打开ui界面的问题解决

《VS配置好Qt环境之后但无法打开ui界面的问题解决》本文主要介绍了VS配置好Qt环境之后但无法打开ui界面的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目UKeLvb录找到Qt安装目录中designer.UKeLvBexe的路径找到vs中的解决方案资源
阅读更多...
Windows Server 2025 搭建NPS-Radius服务器的步骤

Windows Server 2025 搭建NPS-Radius服务器的步骤

《WindowsServer2025搭建NPS-Radius服务器的步骤》本文主要介绍了通过微软的NPS角色实现一个Radius服务器,身份验证和证书使用微软ADCS、ADDS,具有一定的参考价... 目录简介示意图什么是 802.1X？核心作用802.1X的组成角色工作流程简述802.1X常见应用802.
阅读更多...
SpringBoot实现多环境配置文件切换

SpringBoot实现多环境配置文件切换

《SpringBoot实现多环境配置文件切换》这篇文章主要为大家详细介绍了如何使用SpringBoot实现多环境配置文件切换功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 示例代码结构2. pom文件3. application文件4. application-dev文
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2