hadoop学习第二天之伪分布模式安装(下)

2024-05-06 09:58

本文主要是介绍hadoop学习第二天之伪分布模式安装(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

继续伪分布安装

7.   安装JDK

使用winscp将hadoop和jdk复制到linux目录下

a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录

左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中.

b)     解压hadoop-1.1.2.tar.gz

#tar  –xzvf   hadoop-1.1.2.tar.gz

c)      在linux中二进制文件一般是以bin结尾,但仍然需要执行权限才能执行

#chmod  755  jdk-6u24-linux-i586.bin

解压jdk

#./ jdk-6u24-linux-i586.bin

d)     配置环境变量才能使得jdk生效,

#vim  /etc/profile

修改前先备份一份

#cp /etc/profile /etc/profile.bak

在开头的空白行添加

export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$PATH

             


就类似于windows下的jdk配置环境变 量

e)     重命名hadoop和jdk的文件夹,使得容易使用

#mv hadoop-1.1.2.tar.gz hadoop

#mv jdk-6u24-linux-i586.bin  jdk

f)       使得环境变量生效

#source  /etc/profile

g)     验证java版本

#java  -version

8.   安装hadoop

a)   因为在在第七步已经解压并且重命名了hadoop,直接切换到hadoop目录

bin下存放的是hadoop的可执行文件

conf下放的是配置文件

lib目录下放的是hadoop依赖的jar包

src目录是存放hadoop源代码的位置

docs存放的是hadoop的文档

b)   为了执行hadoop命令方便,将hadoop的bin目录添加到环境变量文件中

#vim /etc/profile

exportHADOOP_HOME=/usr/local/hadoop

export  PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 

c)    使环境变量生效

#source  /etc/profile

d)   修改hadoop的配置文件

进入conf目录

hadoop#cd  conf

主要修改的配置文件有四个

        hadoop-env.sh \core-site.xml\mapred-site.xml\hdfs-site.xml

   hadoop-env.sh中将第九行的#去掉,成为 #export JAVA_HOME=/usr/loal/jdk/   修改core-site.xml配置文件内容如下,hadoop1是我设置的主机名


   修改hdfs-site.xml配置文件内容如下

 

修改mapred-site.xml配置文件内容如下:

hadoop1修改为自己的主机名

e)    启动hadoop前的文件系统格式化

# hadoop  namenode  -format

f)     启动hadoop

#start-all.sh  启动与hadoop有关的所有进程

g)    查看hadoop是否正常启动,使用jps命令可以查看java进程

如何看到这五个java进程代表hadoop启动成功

JobTracker、TaskTracker、DataNode、SecondaryNameNode、NameNode

启动时最有可能造成NameNode启动不成功的可能原因

(1).  没有格式化

(2). 环境变量设置错误

(3).ip和hostname绑定失败

h)   验证hadoop是否正在运行

浏览器地址栏中:http://hadoop1:50070  (hadoop1需要在windows或linux的host文件中绑定)显示正常网页表示NameNode正在运行

http://hadoop1:50030 的链接,显示正常表示mapreduce正在运行

这篇关于hadoop学习第二天之伪分布模式安装(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/964065

相关文章

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

在Windows上使用qemu安装ubuntu24.04服务器的详细指南

《在Windows上使用qemu安装ubuntu24.04服务器的详细指南》本文介绍了在Windows上使用QEMU安装Ubuntu24.04的全流程:安装QEMU、准备ISO镜像、创建虚拟磁盘、配置... 目录1. 安装QEMU环境2. 准备Ubuntu 24.04镜像3. 启动QEMU安装Ubuntu4

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》:本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》:本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优