Hadoop-2.7.1安装与配置

Hadoop-2.7.1安装与配置

     前面我们说了，旧版hadoop-1.2.1的安装配置，这也是好几年前的版本了吧。而现在最新版本是hadoop-2.7.1 。虽然，大体上hadoop的安装步骤基本一致，但是最新版本与hadoop-1.2.1不管是目录结构，亦或是脚本什么的都有了个很大的改变。所以，我便有写了一篇关于hadoop-2.7.1的安装配置博客。当然，最好的教程还是在官网，所以本文仅供参考，真正可行的还是在官网： http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html

一、准备

jdk-7u17-linux-x64.tar.gz

hadoop-2.7.1.tar.gz

二、jdk、ssh安装

      可以参考前面的安装步骤：

http://cyw.iteye.com/blog/2251727

三、安装hadoop-2.7.1

1、将hadoop-2.7.1.tar.gz放在桌面，打开终端，cp到喜欢的目录之下。比如我安装在/home/hadoop/目录下

cp hadoop-2.7.1.tar.gz /home/hadoop/ 

2、解压安装hadoop-2.7.1

sudo tar -zxvf hadoop-2.7.1.tar.gz 

3、进入hadoop-2.7.1文件夹，配置环境变量，打开etc/hadoop/hadoop-env.sh。

sudo gedit etc/hadoop/hadoop-env.sh

 在文件里编辑如下JAVA_HOME变量，改为自己的java安装目录：

export JAVA_HOME=/usr/lib/java/jdk1.7.0_17 

4、进入hadoop文件夹

bin/hadoop

      输出如下：

5、如果是单机模式的话，这是便可以使用了：

6、如果是伪分布式的话，则还需要配置一些。打开etc/hadoop/core-site.xml

      sudo gedit etc/hadoop/core-site.xml

 编辑内容如下：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>

7、打开etc/hadoop/hdfs-site.xml

sudo gedit etc/hadoop/hdfs-site.xml

 编辑内容如下：

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

8、此时，hdfs的配置已经完成。可以开启namenode 、secondarynomenode、datanode了。此时，hadoop-2.7.1建议我们使用hdfs而不是hadoop脚本，而且部分hdfs的操作放在sbin目录的脚本里面。所以：

 #格式化namenodebin/hdfs namenode -format#开启hdfs的相关节点sbin/start-dfs.sh#关闭hdfs节点sbin/stop-dfs.sh

可以使用浏览器url：localhost:50070进行web查看管理。

9、配置yarn计算框架（算是Map/Reduce的升级版）

 打开etc/hadoop/mapred-queues.xml.template

sudo gedit etc/hadoop/mapred-queues.xml.template

 编辑内容如下：

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

10、打开etc/hadoop/yarn.site.xml

sudo gedit etc/hadoop/yarn-site.xml

 编辑如下：

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

11、此时，关于yarn计算框架也配置完成了，可以开始使用了。

  #启动yarnsbin/start-yarn.sh#关闭yarnsbin/stop-yarn.sh

    12、已经配置完成，全部开启之后，输入命令：

出现以上输出，即是说明安装配置完成了。

注意：如果在开启的时候，出现无法创建、打开目录文件的情况时，即是说明，当前用户没有此文件操作权限，所以需要修改权限：

 sudo chmod 777 *

     尤其是修改hadoop-2.7.1目录、logs目录及其中文件、etc目录及其中的hadoop目录及其其中的文件，这些的权限。

      以上，便安装配置完成了。以下链接是所需要的安装包：

http://pan.baidu.com/s/14uFy2

      以及hadoop-1.2.1的安装配置文章： 

http://cyw.iteye.com/blog/2251727