Ubuntu 12.04安装Hadoop

2024-06-07 06:18
文章标签 ubuntu 安装 hadoop 12.04

本文主要是介绍Ubuntu 12.04安装Hadoop,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在Ubuntu 12.04安装Hadoop过程详解。

相关阅读:

在Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htm

Ubuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.htm

在Ubuntu上安装OpenStack的Swift组件-installing openstack object storage http://www.linuxidc.com/Linux/2013-08/88180.htm

OpenStack Hands on lab系列 http://www.linuxidc.com/Linux/2013-08/88170.htm 

1. 创建hadoop用户组和用户

a. 创建hadoop用户组 

sudo addgroup hadoop


b. 创建hadoop用户

sudo adduser –ingroup hadoop hadoop

 

c. 编辑/etc/sudoers文件,为hadoop用户添加权限

sudo vim /etc/sudoers

给hadoop用户赋予root相同的权限 

hadoop ALL=(ALL:ALL) ALL

注意:/etc/sudoers文件可能为readonly文件,修改后使用“:wq!”保存


2. 安装JDK

安装JDK的教程网上资料非常多,故省略

注意:不要安装OpenJDK,在Oracle官网上下载JDK(Oracle JDK不能使用apt-get install安装)

3. 安装ssh服务 

sudo apt-get install openssh-server


4. 设置ssh无密码登录

执行su –命令切换到hadoop用户

su – hadoop

ssh生成密钥有rsa和dsa两种,默认采用rsa方式

a. 创建ssh-key(采用rsa方式)

ssh-keygen -t rsa -P ""


b. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中
  1. cd ~/.ssh
  2. cat id_rsa.pub >> authorized_keys


c. 无密码登录localhost

ssh localhost

 

d. 退出ssh连接
  1. exit

 

5. 安装Hadoop

a. 复制hadoop文件至/usr/local
  1. sudo cp sf_share/HadoopDatabase/hadoop-1.1.2.tar.gz/usr/local/

 

b. 解压.tar.gz文件
  1. cd /usr/local/
  2. sudo tar -zxvf hadoop-1.1.2.tar.gz

 

c. 修改文件名为hadoop
  1. sudo mv hadoop-1.1.2 hadoop

 

d. 将hadoop文件夹的属主用户设为hadoop
  1. sudo chown -R hadoop:hadoop hadoop

 

e. 修改配置文件conf/hadoop-env.sh的JDK路径
  1. sudo vim hadoop/conf/hadoop-env.sh
  2. export JAVA_HOME=/usr/local/jvm/jdk1.6.0_45

 

f. 修改conf/core-site.xml文件
  1. sudo vimhadoop/conf/core-site.xml

 

配置文件如下所示:

  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <!-- Put site-specific property overridesin this file. -->
  4. <configuration>
  5. <property>
  6. <name>fs.default.name</name>
  7. <value>hdfs://localhost:9000</value>
  8. </property>
  9. </configuration>

 

g. 修改conf/mapred-site.xml文件
  1. sudo vimhadoop/conf/mapred-site.xml

 

配置文件如下所示:

  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <!-- Put site-specific property overridesin this file. -->
  4. <configuration>
  5. <property>
  6. <name>mapred.job.tracker</name>
  7. <value>localhost:9001</value>
  8. </property>
  9. </configuration>

 

h. 修改conf/hdfs-site.xml文件
  1. sudo vimhadoop/conf/hdfs-site.xml

 

配置文件如下所示:

  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <!-- Put site-specific property overridesin this file. -->
  4. <configuration>
  5. <property>
  6. <name>dfs.name.dir</name>
  7. <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
  8. </property>
  9. <property>
  10. <name>dfs.data.dir</name>
  11. <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
  12. </property>
  13. <property>
  14. <name>dfs.replication</name>
  15. <value>2</value>
  16. </property>
  17. </configuration>

 

i. 编辑配置文件conf/masters,添���作为secondarynamenode的主机名(单机版仅localhost即可)
  1. sudo vimhadoop/conf/masters

 j. 编辑配置文件conf/slaves,添加作为slave的主机名(单机版仅localhost即可)

  1. sudo vimhadoop/conf/slaves

 6. 运行单机版hadoop

a. 进入hadoop目录,格式化hdfs文件系统(初次运行必做操作)
  1. bin/hadoop namenode –format


b. 启动hadoop
  1. bin/start-all.sh

 

c. 查看hadoop是否运行成功

浏览器中输入http://localhost:50070/查看NameNode


浏览器中输入http://localhost:50030/查看JobTracker


d. 停止hadoop
  1. bin/stop-all.sh


转载自:http://www.linuxidc.com/Linux/2013-08/88187p2.htm

同时可参考http://cos.name/2013/03/rhadoop1-hadoop/

这篇关于Ubuntu 12.04安装Hadoop的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1038372

相关文章

Win安装MySQL8全过程

《Win安装MySQL8全过程》:本文主要介绍Win安装MySQL8全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Win安装mysql81、下载MySQL2、解压文件3、新建文件夹data,用于保存数据库数据文件4、在mysql根目录下新建文件my.ini

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

如何在pycharm安装torch包

《如何在pycharm安装torch包》:本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》:本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi

如何解决mmcv无法安装或安装之后报错问题

《如何解决mmcv无法安装或安装之后报错问题》:本文主要介绍如何解决mmcv无法安装或安装之后报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mmcv无法安装或安装之后报错问题1.当我们运行YOwww.chinasem.cnLO时遇到2.找到下图所示这里3.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.