大数据集群搭建基础：Hadoop完全分布式搭建学习指南！！

2024-06-19 14:04
文章标签 基础 数据 集群 搭建 分布式 完全 hadoop 学习指南

本文主要是介绍大数据集群搭建基础：Hadoop完全分布式搭建学习指南！！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Hadoop完全分布式搭建学习指南

Hadoop版本：Hadoop2.X
JDK版本：JDK1.8

一、准备工作

  1. 设置主机名和IP

    在三台CentOS 7.4机器上分别设置主机名和IP：

    • node1: 192.168.14.10
    • node2: 192.168.14.20
    • node3: 192.168.14.30

    修改主机名（以node1为例）：

    hostnamectl set-hostname node1

    配置网络（依据具体网络环境和系统不同，配置方法可能有所不同）。

  2. 配置hosts文件

    在三台机器上的/etc/hosts文件中都添加以下内容，以便机器之间能通过主机名互相访问：

    192.168.14.10 node1
192.168.14.20 node2
192.168.14.30 node3

  3. 关闭防火墙和SELinux

    systemctl stop firewalld
systemctl disable firewalld
setenforce 0

  4. 配置SSH免密登录

    在node1上生成SSH密钥对，并将公钥分发到其他两个节点，实现免密登录（node2和node3上也需进行类似操作，以便日后维护）。

    ssh-keygen
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

二、安装Java环境

  1. 下载并解压JDK

    下载JDK压缩包到/opt，然后解压。

    cd /opt
tar -zxvf jdk-xxx-linux-x64.tar.gz

  2. 配置环境变量

    编辑/etc/profile，添加以下内容：

    export JAVA_HOME=/opt/jdk1.8.0_xxx
export PATH=$PATH:$JAVA_HOME/bin

    使环境变量生效：

    source /etc/profile

三、安装Hadoop

  1. 下载并解压Hadoop

    从Apache官网下载Hadoop压缩包到/opt，然后解压。

    cd /opt
tar -zxvf hadoop-x.x.x.tar.gz

  2. 配置Hadoop环境变量

    编辑/etc/profile，添加：

    export HADOOP_HOME=/opt/hadoop-x.x.x
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    使环境变量生效：

    source /etc/profile

  3. 配置Hadoop

    需要配置的文件主要有hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和slaves。

    • hadoop-env.sh：设置Java环境。

      export JAVA_HOME=/opt/jdk1.8.0_xxx

    • core-site.xml：配置HDFS的地址。

      <configuration><property><name>fs.defaultFS</name><value>hdfs://node1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-x.x.x/tmp</value></property>
</configuration>

    • hdfs-site.xml：配置HDFS的副本数等参数。

      <configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-x.x.x/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-x.x.x/hdfs/datanode</value></property>
</configuration>

      • yarn-site.xml：配置YARN的资源管理器等参数。

        <configuration><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

      • mapred-site.xml（如果不存在，可复制mapred-site.xml.template并重命名为mapred-site.xml）：配置MapReduce的运行框架为YARN。

        <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

      • slaves：配置DataNode所在的节点。

        node1
node2
node3

  4. 分发Hadoop到其他节点

    使用scp命令将配置好的Hadoop目录分发到其他两个节点。

    scp -r /opt/hadoop-x.x.x node2:/opt/
scp -r /opt/hadoop-x.x.x node3:/opt/

  5. 格式化HDFS

    在node1上执行以下命令来格式化HDFS。

    hdfs namenode -format

  6. 启动Hadoop

    在node1上启动Hadoop集群。

    start-dfs.sh
start-yarn.sh

  7. 验证Hadoop是否启动成功

    通过Web界面访问http://node1:50070/来查看HDFS的状态，访问http://node1:8088/来查看YARN的状态。同时，也可以通过jps命令在各个节点上查看运行的Hadoop进程。

以下是将Hadoop完全分布式配置下各节点的进程以表格形式展现的示例：

节点进程
node1NameNode
SecondaryNameNode
ResourceManager
DataNode
NodeManager
node2DataNode
NodeManager
node3DataNode
NodeManager

各文件详细配置内容

core-site.xml

<configuration><!-- 指定Hadoop集群中的默认文件系统为HDFS --><property><name>fs.defaultFS</name><value>hdfs://node1:9000</value></property><!-- 配置Hadoop临时目录，用于存放MapReduce作业执行过程中的中间数据 --><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-x.x.x/tmp</value></property>
</configuration>

hdfs-site.xml

<configuration><!-- 指定NameNode的存储路径，即NameNode元数据的存放位置 --><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-x.x.x/hdfs/namenode</value></property><!-- 指定DataNode的存储路径，即实际数据存储的位置 --><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-x.x.x/hdfs/datanode</value></property><!-- 配置HDFS的副本数，即每个数据块会被复制多少份，通常设置为3 --><property><name>dfs.replication</name><value>3</value></property>
</configuration>

yarn-site.xml

<configuration><!-- 指定ResourceManager的地址，YARN作业提交到这里进行资源分配和调度 --><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><!-- 配置NodeManager提供的辅助服务，mapreduce_shuffle是MapReduce作业必须的服务 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- （可选）配置ResourceManager的Web界面地址和端口 --><property><name>yarn.resourcemanager.webapp.address</name><value>node1:8088</value></property>
</configuration>

mapred-site.xml

<configuration><!-- 指定MapReduce作业的运行框架为YARN --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

slaves

# 指定DataNode所在的节点，每行一个节点名
node1 //结点1
node2 //结点2
node3 //结点3

这篇关于大数据集群搭建基础：Hadoop完全分布式搭建学习指南！！的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1075227。

相关文章

SpringBoot多环境配置数据读取方式

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式（传统格式）1.
阅读更多...
解决pandas无法读取csv文件数据的问题

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3
阅读更多...
Python极速搭建局域网文件共享服务器完整指南

Python极速搭建局域网文件共享服务器完整指南

《Python极速搭建局域网文件共享服务器完整指南》在办公室或家庭局域网中快速共享文件时,许多人会选择第三方工具或云存储服务,但这些方案往往存在隐私泄露风险或需要复杂配置,下面我们就来看看如何使用Py... 目录一、android基础版：HTTP文件共享的魔法命令1. 一行代码启动HTTP服务器2. 关键参
阅读更多...
C#监听txt文档获取新数据方式

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +
阅读更多...
java如何实现高并发场景下三级缓存的数据一致性

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务，主要功能包括：1.缓存结构：本地缓存：使
阅读更多...
在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分
阅读更多...
C#解析JSON数据全攻略指南

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课？二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速
阅读更多...
MyBatis-Plus通用中等、大量数据分批查询和处理方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口
阅读更多...
Jenkins分布式集群配置方式

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》：本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目，它提供了一个容易使用的持续集成系统，并且提供了大量的plugin满
阅读更多...
SQL中如何添加数据(常见方法及示例)

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中，有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2