本文主要是介绍基于CentOS7的Hadoop3.2.2完全分布式集群部署记录，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
服务器部署结构
| hostname | hadoop1 | hadoop2 | hadoop3 |
|---|---|---|---|
| IP | 192.168.10.25 | 192.168.10.27 | 192.168.10.28 |
| HDFS | NameNode | SecondaryNameNode | |
| HDFS | DataNode | DataNode | DataNode |
| YARN | ResourceManager | ||
| YARN | NodeManager | NodeManager | NodeManager |
一.环境准备
1、安装java环境，推荐rpm安装，自行安装。
2、永久修改CentOS服务器hostname主机名，主机名和IP一一对应
vi /etc/hostname
执行命令，将默认的 主机名 修改为想要的主机名，这里将三台机器的hostname分别修改为hadoop1，hadoop2和hadoop3
3、配置服务器hosts，所有服务器都要设置
vi /etc/hosts
打开后增加一下内容，shift+g到文件尾部，o进行换行插入
192.168.10.25 hadoop1
192.168.10.27 hadoop2
192.168.10.28 hadoop2
修改完成后自动生效
4、设置服务器之间无密码ssh登陆
Hadoop集群中的各个机器间会相互地通过SSH访问，每次访问都输入密码是不现实的，所以要配置所有服务器
备注，每台机器都要配置对三台机器的ssh登陆，包含自身，不然启动时候会报错
a.在服务器上生成公钥
ssh-keygen -t rsa
一路回车，都设置为默认值，然后再当前用户的Home目录下的.ssh目录中会生成公钥文件（id_rsa.pub）和私钥文件（id_rsa）。
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3
三台机器均需要进行此操作。
5、关闭防火墙
sudo systemctl disable firewalld
也可以进行端口开放，这里不在进行描述
二.安装hadoop
1.先在第一台机器上解压、配置Hadoop，然后再分发到其他两台机器上的方式来安装集群。
我在这里使用的是hadoop-3.2.2版本，版本下载地址点击跳转
wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
下载后我这里放在/usr/local位置，然后进行解压
tar -zxf hadoop-3.2.2.tar.gz
在三台机器上配置环境变量
vi /etc/profile
添加以下内容
export HADOOP_HOME=/usr/local/hadoop-3.2.2
export PATH=$HADOOP_HOME/bin:$PATH
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
执行以下命令使配置生效
source /etc/profile
2.修改hadoop，文件路径在etc/hadoop, 首先，配置Hadoop JDK路径，定义集群操作用户，在hadoop-env.sh文件中添加如下内容，jdk路径自行修改
export JAVA_HOME=/usr/java/jdk1.8.0_111export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/data/hadoop/pids
export HADOOP_LOG_DIR=/data/hadoop/logs
3、配置core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop1:8020</value></property><property><name>hadoop.tmp.dir</name><value>/data/hadoop/tmp</value></property>
</configuration>
fs.defaultFS为NameNode的地址，hadoop.tmp.dir为hadoop临时目录的地址。
4、配置hdfs-site.xml
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop3:50090</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>file:/data/hadoop/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/data/hadoop/hdfs/data</value></property>
</configuration>
dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号，因为在规划中，我们将hadoop3规划为SecondaryNameNode服务器。
5、配置workers
hadoop1
hadoop2
hadoop3
6、配置yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.localizer.address</name><value>0.0.0.0:8140</value></property><property><name>yarn.resourcemanager.hostname</name><value>hadoop2</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property><property><name>yarn.log.server.url</name><value>http://hadoop3:19888/jobhistory/logs</value></property>
</configuration>根据规划yarn.resourcemanager.hostname这个指定resourcemanager服务器指向hadoop2。
yarn.log-aggregation-enable是配置是否启用日志聚集功能。
yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多长时间。
7、配置mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop3:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop3:19888</value></property>
</configuration>
mapreduce.framework.name设置mapreduce任务运行在yarn上。
mapreduce.jobhistory.address是设置mapreduce的历史服务器安装在hadoop3机器上。
mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。
8、复制Hadoop配置好的包到其他服务器
scp -r hadoop-3.2.2 hadoop2:/usr/local
scp -r hadoop-3.2.2 hadoop3:/usr/local
9、格式化NameNode
在NameNode机器上执行格式化,这里是hadoop1，在/usr/local/hadoop-3.2.2下执行
hdfs namenode -format
注意：
如果需要重新格式化NameNode,需要先将原来NameNode和DataNode下的文件全部删除，不然会报错，NameNode和DataNode所在目录是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir属性配置的。
因为每次格式化，默认是创建一个集群ID，并写入NameNode和DataNode的VERSION文件中（VERSION文件所在目录为hdfs/name/current 和 hdfs/data/current），重新格式化时，默认会生成一个新的集群ID,如果不删除原来的目录，会导致namenode中的VERSION文件中是新的集群ID,而DataNode中是旧的集群ID，不一致时会报错。
三、启动集群服务
1、启动HDFS，在hadoop1上执行
/usr/local/hadoop-3.2.2/sbin/start-dfs.sh
2、启动YARN
/usr/local/hadoop-3.2.0/sbin/start-yarn.sh
3、启动日志服务，在hadoop3上执行，规划在hadoop3运行jobhistoryserver服务
mapred --daemon start historyserver
4、查看HDFS Web页面
http://192.168.10.25:9870/
其中，192.168.10.25为服务器hadoop1的IP地址。
5、查看YARN Web页面
http://192.168.10.27:8088/
其中，192.168.10.27为服务器hadoop2的IP地址。
在这里,我发现8088端口未开启，然后执行jps发现resourcemanager未启动
然后手动将 resourcemanager进行开启
/usr/local/hadoop-3.2.2/sbin/yarn-daemon.sh start resourcemanager
6.日志查看
相关日志可以在/data/hadoop/logs进行查看
这篇关于基于CentOS7的Hadoop3.2.2完全分布式集群部署记录的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
