系统的对单机版hadoop进行配置和安装,调试!!!

2024-08-23 10:32

本文主要是介绍系统的对单机版hadoop进行配置和安装,调试!!!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前置条件:

1、ubuntu12..4安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的)

2、jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784  )

3、下载hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ )

 

 

安装hadoop

1、首先将hadoop0.21.0.tar.gz复制到usr下的local文件夹内,(sudo cp hadoop路径 /usr/local)如图1


2、进入到local目录下,解压hadoop0.21.0.tar.gz,如图2


3、为方便管理和hadoop版本升级,将解压后的文件夹改名为hadoop,如图3



 

方便起见,新增hadoop的组和其同名用户:

1、创建一个名字为hadoop的用户组,如图4


2、创建一个用户名为hadoop的用户,归到hadoop组下,如图5(一些信息可以不填写,直接按enter键即可)如图5


3、(1)添加用户权限:打开etc下的sudoers文件,添加如下(2)命令,如图6



 --------------------------------------------------------------------------------------------------------------------------------

  (另一种方法是先切换到root用户下,然后修改sudoers的权限,但这样操作一定要小心谨慎,修改权限后要将文件改回只读,否则悲剧啦啦啦,我们一票人死在这点上好多次)

   (2)在root ALL =(ALL) ALL 下面添加如下文字:

            hadoop ALL = (ALL) ALL

  如图7

-----------------------------------------------------------------------------

 ----------------------------------------------------------------------------------------------

   (/etc/sudoers文件是用于sudo命令执行时审核执行权限用的)

执行命令:$:sudo chown hadoop /usr/local/hadoop(将hadoop文件夹的权限赋给hadoop用户)


安装ssh (需联网):(了解ssh:http://freewxy.iteye.com/blog/910820)

1、安装openssh_server:如图8


2、创建ssh-key,为rsa,如图9


   填写key的保存路径,如图10填写


3、添加ssh-key到受信列表,并启用此ssh-key,如图11


 

4、验证ssh的配置,如图12


 


配置hadoop

0、浏览hadoop文件下都有些什么东西,如图13


 

1、打开conf/hadoop-env.sh,如图14


 

   配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径),如图15

---------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------- 

2、打开conf/core-site.xml

   配置,如下内容:

Java代码   收藏代码
  1. <configuration>  
  2.  <property>  
  3.   <name>fs.default.name</name>  
  4.   <value>hdfs://localhost:9000</value>   
  5.  </property>  
  6.  <property>  
  7.   <name>dfs.replication</name>   
  8.   <value>1</value>   
  9.  </property>  
  10.  <property>  
  11.   <name>hadoop.tmp.dir</name>  
  12.   <value>/home/hadoop/tmp</value>   
  13.  </property>  
  14. </configuration>   

 

 

 

 

3、打开conf目录下的mapred-site.xml

  配置如下内容:

Java代码   收藏代码
  1. <configuration>  
  2.  <property>   
  3.   <name>mapred.job.tracker</name>  
  4.   <value>localhost:9001</value>   
  5.  </property>  
  6. </configuration>  

 

 
  

 

 

 

运行测试 :

1、改变用户,格式化namenode,如图18


 

  可能遇到如下错误(倒腾这个过程次数多了),如图19


 

执行如图20,再次执行如图18


 

2、启动hadoop,如图21


 

3、验证hadoop是否成功启动,如图22


 


运行自带wordcount例 子(jidong啊)

1、准备需要进行wordcount的文件,如图23(在test.txt中随便输入字符串,保存并退出)



-------------------------------------------------------------------------------------------

2、将上一步中的测试文件上传到dfs文件系统中的firstTest目录下,如图24(如果dfs下不包含firstTest目录的话自动创建一个同名目录,使用命令:bin/hadoop dfs -ls查看dfs文件系统中已有的目录)


 

3、执行wordcount,如图25(对firstest下的所有文件执行wordcount,将统计结果输出到result文件夹中,若result文件夹不存在则自动创建)


4、查看结果,如图26


 

 

单机版搞定~~

 

这篇关于系统的对单机版hadoop进行配置和安装,调试!!!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099130

相关文章

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Python进行JSON和Excel文件转换处理指南

《Python进行JSON和Excel文件转换处理指南》在数据交换与系统集成中,JSON与Excel是两种极为常见的数据格式,本文将介绍如何使用Python实现将JSON转换为格式化的Excel文件,... 目录将 jsON 导入为格式化 Excel将 Excel 导出为结构化 JSON处理嵌套 JSON:

Debian系和Redhat系防火墙配置方式

《Debian系和Redhat系防火墙配置方式》文章对比了Debian系UFW和Redhat系Firewalld防火墙的安装、启用禁用、端口管理、规则查看及注意事项,强调SSH端口需开放、规则持久化,... 目录Debian系UFW防火墙1. 安装2. 启用与禁用3. 基本命令4. 注意事项5. 示例配置R

PyCharm中配置PyQt的实现步骤

《PyCharm中配置PyQt的实现步骤》PyCharm是JetBrains推出的一款强大的PythonIDE,结合PyQt可以进行pythion高效开发桌面GUI应用程序,本文就来介绍一下PyCha... 目录1. 安装China编程PyQt1.PyQt 核心组件2. 基础 PyQt 应用程序结构3. 使用 Q

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》:本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1:通过update-alternatives查询(推荐)方法 2:检查所有已安装的 JDK方

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同,并且无论如何都没有中文选项?这个问题也

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务,修改密码一、下载安装包安装地

Redis MCP 安装与配置指南

《RedisMCP安装与配置指南》本文将详细介绍如何安装和配置RedisMCP,包括快速启动、源码安装、Docker安装、以及相关的配置参数和环境变量设置,感兴趣的朋友一起看看吧... 目录一、Redis MCP 简介二、安www.chinasem.cn装 Redis MCP 服务2.1 快速启动(推荐)2.

在macOS上安装jenv管理JDK版本的详细步骤

《在macOS上安装jenv管理JDK版本的详细步骤》jEnv是一个命令行工具,正如它的官网所宣称的那样,它是来让你忘记怎么配置JAVA_HOME环境变量的神队友,:本文主要介绍在macOS上安装... 目录前言安装 jenv添加 JDK 版本到 jenv切换 JDK 版本总结前言China编程在开发 Java

Linux系统之lvcreate命令使用解读

《Linux系统之lvcreate命令使用解读》lvcreate是LVM中创建逻辑卷的核心命令,支持线性、条带化、RAID、镜像、快照、瘦池和缓存池等多种类型,实现灵活存储资源管理,需注意空间分配、R... 目录lvcreate命令详解一、命令概述二、语法格式三、核心功能四、选项详解五、使用示例1. 创建逻