Hadoop2.7.3伪分布式搭建

2024-02-16 12:18
文章标签 搭建 分布式 hadoop2.7

本文主要是介绍Hadoop2.7.3伪分布式搭建,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.安装JDK

①找到自己的jdk压缩文件的目录,解压:tar -zxvf jdk-8u112-linux-x64.tar.gz -c /usr/java

②配置环境变量:

输入命令:vim /etc/profile

在结尾添加以下内容:


刷新资源:source  /etc/profile

2.安装Hadoop-2.7.3

①解压Hadoop到指定文件夹中:tar -zxvf hadoop-2.7.3.tar.gz -c /hadoop

②修改相关配置文件:

修改hadoop-env.sh文件

cd /hadoop/hadoop-2.7.3/etc/hadoop


输入命令:vi hadoop-env.sh

修改文件中的JAVA_HOME:


export JAVA_HOME=/usr/java/jdk1.8.0_112

修改core-site.xml:

输入命令:vi core-site.xml

添加以下配置:

第一个property:指定HDFS的老大(NameNode)的地址

第二个property:指定hadoop运行时产生文件的存储目录

修改hdfs-site.xml:

输入命令:vi hdfs-site.xml

property:指定HDFS保存数据副本的数量        

      修改mapred-site.xml:

输入命令:vi  mapred-site.xml

若无此文件,执行此命令:mv mapred-site.xml.template mapred-site.xml

注:告诉Hadoop以后mapreduce运行在yarn上

修改yarn-site.xml:

输入命令:vi yarn-site.xml

第一个property:指定YARN的老大(ResourceManager)的地址

第二个property:reduce获取数据的方式shuffle

③将hadoop添加到环境变量:

输入命令:vim /etc/proflie

刷新资源配置source /etc/profile

3.初始化HDFS(格式化文件系统)

#hadoop namenode -format(已过时)

hdfs namenode -format

出现以下信息则表示格式化成功:

4.启动HDFS和YARN

进入sbin目录:cd /hadoop/hadoop-2.7.3/sbin

执行命令:#./start-all.sh(已过时)

分别指行:./start-dfs.sh

,/start-yarn.sh

执行完成后,输入命令:jps

注:若出现此图中的信息则成功了


这篇关于Hadoop2.7.3伪分布式搭建的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/714496

相关文章

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

redis+lua实现分布式限流的示例

《redis+lua实现分布式限流的示例》本文主要介绍了redis+lua实现分布式限流的示例,可以实现复杂的限流逻辑,如滑动窗口限流,并且避免了多步操作导致的并发问题,具有一定的参考价值,感兴趣的可... 目录为什么使用Redis+Lua实现分布式限流使用ZSET也可以实现限流,为什么选择lua的方式实现

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Seata之分布式事务问题及解决方案

《Seata之分布式事务问题及解决方案》:本文主要介绍Seata之分布式事务问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Seata–分布式事务解决方案简介同类产品对比环境搭建1.微服务2.SQL3.seata-server4.微服务配置事务模式1

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my