从零手把手教你搭建Hadoop集群

本文主要是介绍从零手把手教你搭建Hadoop集群，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1、简介

        Hadoop作为大数据鼻祖，后续衍生出 spark、flink等大数据框架都是在此基础上进行优化和创新，因此虽然目前Hadoop逐渐在大数据领域淡出视野，但是要想更深入掌握其他大数据组件，学习Hadoop还是必要的。

2、jdk&Hadoop下载

2.1、jdk下载安装

        本次集群搭建使用jdk8进行搭建，下载地址为：Java™ SE Development Kit 8, Update 301 Release Notes

2.2、Hadoop下载安装

        Hadoop目前最新版本为 3.4.0，本文使用3.2.4版本进行搭建，下载地址为：Index of /dist/hadoop/core/hadoop-3.4.0

3、集群规划

        本次使用完全分布式部署，使用VMWare搭建三台虚拟机，集群部署规划如下：

机器ip	主机名
192.168.0.66	node-1
192.168.0.67	node-2
192.168.0.68	node-3

Hadoop集群规划：

组件名	node-1	node-2	node-3
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

3.1、创建虚拟机集群

3.1.1、创建虚拟机修改网络（其他节点只用修改ip即可）

vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"  # 注意这个要是static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="1b5d9f8e-0e82-452c-bd41-d41ea4de929e"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.0.66   # 修改为指定的ip
GATEWAY=192.168.0.2   # 修改为指定的网关
NETMASK=255.255.255.0
DNS1=192.168.0.2      # 修改为指定的dns

修改完成之后重启网络

systemctl restart network

3.1.2、修改主机名

vim /etc/hostname
node-1  # 其他节点为 node-2、node-3

3.1.3、修改hosts文件

vim /etc/hosts
192.168.0.66 node-1
192.168.0.67 node-2
192.168.0.68 node-3

注：完成以上几个步骤，就可以将虚拟机关闭克隆出另外两台，另外两台只用修改ip和主机名即可。

3.1.4、集群免密登录

         每个节点都需要进行以下几个步骤，在这个过程中需要输入密码。

# 1、生成key
ssh-keygen -t rsa
# 2、将生成的key拷贝到其他节点
ssh-copy-id node-1
ssh-copy-id node-2
ssh-copy-id node-3

4、安装jdk和Hadoop

4.1、安装

# 1、安装jdk，将下载jdk包上传到指定路径并解压
tar -zxvf jdk8-*.tar.gz
# 2、安装Hadoop 将下载Hadoop包上传到指定路径并解压
tar -zxvf hadoop-*.tar.gz
# 3、将包传递到其他节点（使用scp 命令，示例如下）
scp -r jdk8 node-2:/opt/
scp -r hadoop node-2:/opt/

注：解压后用户和用户组可能不是指定的用户和用户组，需要变更。 

chown root:root -R 解压文件夹

4.2、配置环境变量

# 1、配置环境变量
vim /etc/profile.d/my_env.sh
export JAVA_HOME=/opt/jdk8
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin# 2、激活环境变量
source /etc/profile
# 3、验证
java -version
hadoop version

4.3、分发配置环境变量文件

# 1、发送配置环境变量文件
scp /etc/profile.d/my_env.sh node-2:/etc/profile.d/my_env.sh
scp /etc/profile.d/my_env.sh node-3:/etc/profile.d/my_env.sh
# 2、激活环境变量（每个节点）
source /etc/profile

4.4、Hadoop集群配置

        配置文件在 $HADOOP_HOME/etc/hadoop 目录下。

4.4.1、core-site.xml

<configuration>
<!-- 指定NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://node-1:8020</value></property><!-- 指定hadoop数据的存储目录，提前创建好 --><property><name>hadoop.tmp.dir</name><value>/opt/hadoop/hadoop-3.2.4/data</value></property><!-- 配置HDFS网页登录使用的静态用户为test--><property><name>hadoop.http.staticuser.user</name><value>test</value></property>
</configuration>

4.4.2、hdfs-site.xml

<configuration>
<!-- nn web端访问地址--><property><name>dfs.namenode.http-address</name><value>node-1:9870</value></property><!-- 2nn web端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>node-3:9868</value></property>
</configuration>

4.4.3、yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>node-2</value></property><!-- 环境变量的继承 --><property><name>yarn.nodemanager.env-whitelist</name>    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property>
<!-- 开启日志聚集功能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property><name>yarn.log.server.url</name><value>http://node-1:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>
</configuration>

4.4.4、mapred-site.xml

<configuration>
<!-- 指定MapReduce程序运行在Yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property><!-- 历史服务器端地址 -->
<property><name>mapreduce.jobhistory.address</name><value>node-1:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>node-1:19888</value>
</property>
</configuration>

5、初始化以及启动

5.1、hdfs初始化

hdfs namenode -format

        如果集群是第一次启动，需要在指定为namenode节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

5.2、启动/停止操作

        Hadoop配置完之后，只需要启动三个脚本即可，启动脚本在 $HADOOP_HOME/sbin 目录下。

5.2.1、全局变量配置

配置 /etc/profile，在  /etc/profile 文件后面添加下面内容，指定运行用户名（每个节点都要配置）。

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
export HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER

 注：配置完成后要进行 source /etc/profile。

5.2.2、启动/停止

# 1、启动/停止hdfs（在namenode节点）
cd $HADOOP_HOME/sbin
./start-dfs.sh
./stop-dfs.sh
# 2、启动/停止yarn，在配置了ResourceManager的节点（node-2）启动/停止yarn
cd $HADOOP_HOME/sbin
./start-yarn.sh
./stop-yarn.sh
# 3、启动/停止历史节点（在配置历史服务节点操作）
mapred --daemon start/stop historyserver

hdfs和yarn单个节点启动、停止按照节点类型进行操作，例如：

hdfs --daemon start/stop namenode/datanode/secondarynamenode
yarn --daemon start/stop  resourcemanager/nodemanager

6、集群启动脚本

6.1、Hadoop集群启动脚本

        编辑一个启动脚本 start_hadoop 启动整个集群。

# 1、vim /usr/local/bin/start_hadoop
#!/bin/bash
if [ $# -lt 1 ]
thenecho "please input [start | stop]"exit ;
fi
case $1 in
"start")echo " =================== 启动 hadoop集群 ==================="echo " --------------- 启动 hdfs ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/sbin/start-dfs.sh"echo " --------------- 启动 yarn ---------------"ssh node-2 "/opt/hadoop/hadoop-3.2.4/sbin/start-yarn.sh"echo " --------------- 启动 historyserver ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/bin/mapred --daemon start historyserver"
;;
"stop")echo " =================== 关闭 hadoop集群 ==================="echo " --------------- 关闭 historyserver ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/bin/mapred --daemon stop historyserver"echo " --------------- 关闭 yarn ---------------"ssh node-2 "/opt/hadoop/hadoop-3.2.4/sbin/stop-yarn.sh"echo " --------------- 关闭 hdfs ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/sbin/stop-dfs.sh"
;;
*)echo "please input [start or stop]"
;;
esac
# 2、添加执行权限
chmod +x /usr/local/bin/start_hadoop

注：使用脚本启动读取不到环境变量，会报错，还需要配置 ~/.bashrc，添加以下内容（不生效记得source）：

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
export HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER

6.2、集群文件增量分发脚本

        当一个节点修改文件后其他节点要进行同步增量的修改内容，可以将修改同步到集群每一个节点。

# vim /usr/local/bin/sync_file
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho "请添加待同步文件!"exit;
fi
#2. 遍历集群所有机器
for host in node-1 node-2 node-3
doecho ====================  $host  ====================#3. 遍历所有目录，挨个发送for file in $@do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done
# 添加执行权限
chmod +x /usr/local/bin/sync_file

6.3、查看集群中各个节点java相关进程，使用jps命令

# vim /usr/local/bin/jpsall
#!/bin/bash
for host in node-1 node-2 node-3
doecho =============== $host ===============ssh $host jps
done
# 添加执行权限
chmod +x /usr/local/bin/jpsall

7、总结

        按照本文教程步骤，就可以搭建一个三个节点的Hadoop集群，更多关于Hadoop相关技术分享，将在后续的博客中。

这篇关于从零手把手教你搭建Hadoop集群的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---