hadoop 安装配置启动

2024-09-05 23:58
文章标签 配置 安装 启动 hadoop

本文主要是介绍hadoop 安装配置启动，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. Ubuntu12.04基本设置

   
   1) 设置与Windows共享(通过hgfs)
   2) 设置root密码
      sudo passwd root
   3) 设置root登录
      vim /etc/lightdm/lightdm.conf
      在最后添加一行：greeter-show-manual-login=true
   3) #adduser test  
      #passwd test
      #mkdir -p /home/test
   4) 查看我是谁
      whoami

2. 安装组件

   $ sudo apt-get install ssh
   $ sudo apt-get install rsync

3. 下载解压JDK (1.7)至/opt目录下

4. 下载解压Hadoop (2.6.4)/opt目录下

5. 增加JDK和Hadoop Path到/root/.bashrc和当用户的~/.bashrc中

[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. export JAVA_HOME=/opt/jdk1.7.0_79  
  2. export HADOOP_HOME=/opt/hadoop-2.6.4  
  3. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
  4.   
  5. # improve Could not resolve hostname library: Name or service not known  
  6. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  
  7. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"  

   

      如果把HADOOP_OPTS配置为：

[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"  

      则会出现如下错误：       

[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

6. hadoop_env.sh (JAVA_HOME, HADOOP_PREFIX)

[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. # set to the root of your Java installation  
  2. export JAVA_HOME=/opt/jdk1.7.0_79  
  3.   
  4. # Assuming your installation directory is /opt/hadoop-2.6.4  
  5. export HADOOP_PREFIX=/opt/hadoop-2.6.4  

   注：以上安装都以root用户执行

7. 实例测试

7.1 单机模式

 （不需要做任何配置，但不启动任何dfs和mapreduce daemon进程）
  计算在这些.xml文件中总共有多少个configuration
  ~$ mkdir input
  ~$ cp /opt/hadoop-2.6.4/etc/hadoop/*.xml input
  ~$ hadoop jar /opt/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'configuration'

  ~$ cat output/*


  查看debug信息（即代码中LOG.debug打印的信息）：

   test@ubuntu:~/hadoop$ export HADOOP_ROOT_LOGGER=DEBUG,console
   test@ubuntu:~/hadoop$ hadoop fs -text /test/data/origz/access.log.gz


7.2 伪分布式模式

7.2.1 配置环境

1）etc/hadoop/core-site.xml:
[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.       
  3.     <!-- set the host of namenode residing -->     
  4.     <property>  
  5.         <name>fs.defaultFS</name>  
  6.         <value>hdfs://localhost:9000</value>  
  7.     </property>  
  8.       
  9.       
  10.     <!-- set the position of dfs directory  -->  
  11.     <property>  
  12.         <name>hadoop.tmp.dir</name>  
  13.         <value>/home/test/hadoop/tmp</value>   
  14.     </property>  
  15. </configuration>  

2）etc/hadoop/hdfs-site.xml:
[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.     <property>  
  3.         <name>dfs.replication</name>  
  4.         <value>1</value>  
  5.     </property>  
  6. </configuration>  

3）ssh免密码登录
   ~$ssh-keygen (一直默认回车)
   ~$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   ~$ssh localhost (应该无密码)

7.2.2 在本地运行MapReduce Job

1）格式化文件系统
   $ hdfs namenode -format
  
   生成的dfs文件夹位于：/home/test/hadoop/tmp 


2）启动NameNode daemon和DataNode daemon
   $ start-dfs.sh


   hadoop daemon log输出目录为$HADOOP_LOG_DIR, 默认为$HADOOP_HOME/logs
   给test用户授与/opt/hadoop-2.6.4权限
   sudo chown -hR test /opt/hadoop-2.6.4
   
   可通过jps查看到以下JVM进程：
   11340 SecondaryNameNode
   9927 NameNode
   10142 DataNode


3) 通过Web界面来查看NameNode运行状况，默认为：
   http://localhost:50070
   http://192.168.4.91:50070


4）创建执行MapReduce Job需要的HDFS目录
   $hdfs dfs -mkdir /user
   $hdfs dfs -mkdir /user/<username>


   error:mkdir: Cannot create directory /user. Name node is in safe mode.
   solution:hdfs  dfsadmin -safemode leave


5）把输入文件copy到分布式文件系统
   $hdfs dfs -put /opt/hadoop-2.6.4/etc/hadoop input


6）运行例子程序
   $hadoop jar /opt/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+' 


7）检查输出文件
   把输出文件从分布式文件系统copy到本地文件系统，然后查看
   $hdfs dfs -get output output
   $cat output/*
   或者
   $hdfs dfs -cat output/*


8) 停止NameNode daemon和DataNode daemon
   $stop-dfs.sh

7.2.3 在YARN上运行MapReduce Job

1) 配置环境
   在【7.2.1 配置环境】的基础上增加如下配置
(1)etc/hadoop/mapred-site.xml:
[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.     <property>  
  3.         <name>mapreduce.framework.name</name>  
  4.         <value>yarn</value>  
  5.     </property>  
  6. </configuration>  


(2)etc/hadoop/yarn-site.xml:
[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.     <property>  
  3.         <name>yarn.nodemanager.aux-services</name>  
  4.         <value>mapreduce_shuffle</value>  
  5.     </property>  
  6. </configuration>  


2）格式化文件系统
   $ hdfs namenode -format
  
   生成的dfs文件夹位于：/home/test/hadoop/tmp 


3）启动NameNode daemon和DataNode daemon
   $ start-dfs.sh


   hadoop daemon log输出目录为$HADOOP_LOG_DIR, 默认为$HADOOP_HOME/logs
   给test用户授与/opt/hadoop-2.6.4权限
   sudo chown -hR test /opt/hadoop-2.6.4
   
   可通过jps查看到以下JVM进程：
   11340 SecondaryNameNode
   9927 NameNode
   10142 DataNode


4) 通过Web界面来查看NameNode运行状况，默认为：
   http://localhost:50070
   http://192.168.4.91:50070


5）创建执行MapReduce Job需要的HDFS目录
   $hdfs dfs -mkdir /user
   $hdfs dfs -mkdir /user/<username>


6）启动ResourceManager daemon和NodeManager daemon
   $start-yarn.sh


7) 通过Web界面来查看ResourceManager运行状况，默认为：
   http://localhost:8088
   http://192.168.4.91:8088


8）把输入文件copy到分布式文件系统
   $hdfs dfs -put /opt/hadoop-2.6.4/etc/hadoop input


9）运行例子程序
   $hadoop jar /opt/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+' 


10）检查输出文件
   把输出文件从分布式文件系统copy到本地文件系统，然后查看
   $hdfs dfs -get output output
   $cat output/*
   或者
   $hdfs dfs -cat output/*

11）$stop-yarn.sh

12）$stop-dfs.sh


这篇关于hadoop 安装配置启动的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1140422。

相关文章

SpringBoot基于配置实现短信服务策略的动态切换

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商（如阿里云、腾讯云、华为云）后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置（application.yml）配置类绑定短信发送策略接口示例：阿里云 & 腾
阅读更多...
如何为Yarn配置国内源的详细教程

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方
阅读更多...
最详细安装 PostgreSQL方法及常见问题解决

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》：本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.
阅读更多...
Maven如何手动安装依赖到本地仓库

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》：本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登
阅读更多...
CentOS7更改默认SSH端口与配置指南

CentOS7更改默认SSH端口与配置指南

《CentOS7更改默认SSH端口与配置指南》SSH是Linux服务器远程管理的核心工具,其默认监听端口为22,由于端口22众所周知,这也使得服务器容易受到自动化扫描和暴力破解攻击,本文将系统性地介绍... 目录引言为什么要更改 SSH 默认端口？步骤详解：如何更改 Centos 7 的 SSH 默认端口1
阅读更多...
Maven的使用和配置国内源的保姆级教程

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H
阅读更多...
SpringBoot多数据源配置完整指南

SpringBoot多数据源配置完整指南

《SpringBoot多数据源配置完整指南》在复杂的企业应用中,经常需要连接多个数据库,SpringBoot提供了灵活的多数据源配置方式,以下是详细的实现方案,需要的朋友可以参考下... 目录一、基础多数据源配置1. 添加依赖2. 配置多个数据源3. 配置数据源Bean二、JPA多数据源配置1. 配置主数据
阅读更多...
Spring 基于XML配置 bean管理 Bean-IOC的方法

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》：本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过
阅读更多...
如何使用Nginx配置将80端口重定向到443端口

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP（80端口）请求重定向到HTTPS（443端口）,文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器
阅读更多...
SpringBoot中配置Redis连接池的完整指南

SpringBoot中配置Redis连接池的完整指南

《SpringBoot中配置Redis连接池的完整指南》这篇文章主要为大家详细介绍了SpringBoot中配置Redis连接池的完整指南,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以... 目录一、添加依赖二、配置 Redis 连接池三、测试 Redis 操作四、完整示例代码（一）pom.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2