系统的对单机版hadoop进行配置和安装,调试!!!

2024-08-23 10:32

本文主要是介绍系统的对单机版hadoop进行配置和安装,调试!!!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前置条件:

1、ubuntu12..4安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的)

2、jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784  )

3、下载hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ )

 

 

安装hadoop

1、首先将hadoop0.21.0.tar.gz复制到usr下的local文件夹内,(sudo cp hadoop路径 /usr/local)如图1


2、进入到local目录下,解压hadoop0.21.0.tar.gz,如图2


3、为方便管理和hadoop版本升级,将解压后的文件夹改名为hadoop,如图3



 

方便起见,新增hadoop的组和其同名用户:

1、创建一个名字为hadoop的用户组,如图4


2、创建一个用户名为hadoop的用户,归到hadoop组下,如图5(一些信息可以不填写,直接按enter键即可)如图5


3、(1)添加用户权限:打开etc下的sudoers文件,添加如下(2)命令,如图6



 --------------------------------------------------------------------------------------------------------------------------------

  (另一种方法是先切换到root用户下,然后修改sudoers的权限,但这样操作一定要小心谨慎,修改权限后要将文件改回只读,否则悲剧啦啦啦,我们一票人死在这点上好多次)

   (2)在root ALL =(ALL) ALL 下面添加如下文字:

            hadoop ALL = (ALL) ALL

  如图7

-----------------------------------------------------------------------------

 ----------------------------------------------------------------------------------------------

   (/etc/sudoers文件是用于sudo命令执行时审核执行权限用的)

执行命令:$:sudo chown hadoop /usr/local/hadoop(将hadoop文件夹的权限赋给hadoop用户)


安装ssh (需联网):(了解ssh:http://freewxy.iteye.com/blog/910820)

1、安装openssh_server:如图8


2、创建ssh-key,为rsa,如图9


   填写key的保存路径,如图10填写


3、添加ssh-key到受信列表,并启用此ssh-key,如图11


 

4、验证ssh的配置,如图12


 


配置hadoop

0、浏览hadoop文件下都有些什么东西,如图13


 

1、打开conf/hadoop-env.sh,如图14


 

   配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径),如图15

---------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------- 

2、打开conf/core-site.xml

   配置,如下内容:

Java代码   收藏代码
  1. <configuration>  
  2.  <property>  
  3.   <name>fs.default.name</name>  
  4.   <value>hdfs://localhost:9000</value>   
  5.  </property>  
  6.  <property>  
  7.   <name>dfs.replication</name>   
  8.   <value>1</value>   
  9.  </property>  
  10.  <property>  
  11.   <name>hadoop.tmp.dir</name>  
  12.   <value>/home/hadoop/tmp</value>   
  13.  </property>  
  14. </configuration>   

 

 

 

 

3、打开conf目录下的mapred-site.xml

  配置如下内容:

Java代码   收藏代码
  1. <configuration>  
  2.  <property>   
  3.   <name>mapred.job.tracker</name>  
  4.   <value>localhost:9001</value>   
  5.  </property>  
  6. </configuration>  

 

 
  

 

 

 

运行测试 :

1、改变用户,格式化namenode,如图18


 

  可能遇到如下错误(倒腾这个过程次数多了),如图19


 

执行如图20,再次执行如图18


 

2、启动hadoop,如图21


 

3、验证hadoop是否成功启动,如图22


 


运行自带wordcount例 子(jidong啊)

1、准备需要进行wordcount的文件,如图23(在test.txt中随便输入字符串,保存并退出)



-------------------------------------------------------------------------------------------

2、将上一步中的测试文件上传到dfs文件系统中的firstTest目录下,如图24(如果dfs下不包含firstTest目录的话自动创建一个同名目录,使用命令:bin/hadoop dfs -ls查看dfs文件系统中已有的目录)


 

3、执行wordcount,如图25(对firstest下的所有文件执行wordcount,将统计结果输出到result文件夹中,若result文件夹不存在则自动创建)


4、查看结果,如图26


 

 

单机版搞定~~

 

这篇关于系统的对单机版hadoop进行配置和安装,调试!!!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099130

相关文章

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

Redis Cluster模式配置

《RedisCluster模式配置》:本文主要介绍RedisCluster模式配置,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录分片 一、分片的本质与核心价值二、分片实现方案对比 ‌三、分片算法详解1. ‌范围分片(顺序分片)‌2. ‌哈希分片3. ‌虚

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Maven 配置中的 <mirror>绕过 HTTP 阻断机制的方法

《Maven配置中的<mirror>绕过HTTP阻断机制的方法》:本文主要介绍Maven配置中的<mirror>绕过HTTP阻断机制的方法,本文给大家分享问题原因及解决方案,感兴趣的朋友一... 目录一、问题场景:升级 Maven 后构建失败二、解决方案:通过 <mirror> 配置覆盖默认行为1. 配置示

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

Springboot3+将ID转为JSON字符串的详细配置方案

《Springboot3+将ID转为JSON字符串的详细配置方案》:本文主要介绍纯后端实现Long/BigIntegerID转为JSON字符串的详细配置方案,s基于SpringBoot3+和Spr... 目录1. 添加依赖2. 全局 Jackson 配置3. 精准控制(可选)4. OpenAPI (Spri

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》:本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.

maven私服配置全过程

《maven私服配置全过程》:本文主要介绍maven私服配置全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录使用Nexus作为 公司maven私服maven 私服setttings配置maven项目 pom配置测试效果总结使用Nexus作为 公司maven私

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构

Linux系统中的firewall-offline-cmd详解(收藏版)

《Linux系统中的firewall-offline-cmd详解(收藏版)》firewall-offline-cmd是firewalld的一个命令行工具,专门设计用于在没有运行firewalld服务的... 目录主要用途基本语法选项1. 状态管理2. 区域管理3. 服务管理4. 端口管理5. ICMP 阻断