Hadoop2.7 安装

2024-06-14 22:58
文章标签 安装 hadoop2.7

本文主要是介绍Hadoop2.7 安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hadoop2.7 安装

参考:http://www.linuxidc.com/Linux/2015-01/112029.html

机器准备

192.168.72.130 master

192.168.72.131 slave1

192.168.72.132 slave2

192.168.72.133 slave3

目录

  1. 安装JDK
  2. 配置host文件
  3. SSH免密码登陆
  4. Hadoop安装
  5. Hadoop配置
  6. Hadoop初始化
  7. Hadoop启动
    1. 关闭防火墙测试

    SSH免密码登陆

  • 准备工作
  • 确定本机安装了ssh服务
  • 确认本机sshd的配置文件(需要root权限)
      $ vi /etc/ssh/sshd_config
      找到以下内容,并去掉注释符"#"
      RSAAuthentication yes
      PubkeyAuthentication yes
      AuthorizedKeysFile      .ssh/authorized_keys
  • 如果修改了配置文件需要重启sshd服务 (需要root权限)
      $ /sbin/service sshd restart
  • 在各个机器上生产公钥私钥。

    生成公钥和私钥代码:ssh-keygen -t rsa  (后一直回车)
       
    默认在 ~/.ssh目录生成两个文件:
        id_rsa      
    :私钥
        id_rsa.pub  
    :公钥

  • 将各个机器上的公钥集中到一起

    将各个机器上的id_rsa.pub集中到文件authorized_keys

    Cat id_rsa.pub >> authorized_keys

    并拷贝该文件至所有的~/.ssh/目录下

  • 更改权限       

    Shell代码:   chmod 700 ~/.ssh
                        chmod 600 ~/.ssh/authorized_keys  

Hadoop安装

tar -xzvf hadoop-2.7.0.tar.gz

 

配置

  • 文件hadoop-env.shyarn-env.sh

就是修改这一行内容,修改后的结果如下

    export JAVA_HOME=/usr/local/jdk

【这里的JAVA_HOME的值是jdk的安装路径。如果你那里不一样,请修改为自己的地址】

  • 文件core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>

【这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时,用户如果不写集群名称,那么默认使用哪个哪?在这里指定!该值来自于hdfs-site.xml中的配置】

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

  • 文件hdfs-site.xml

<configration>
<property>
<name>dfs.name.dir</name>
<value>/home/software/hadoop-2.7.0/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/software/hadoop-2.7.0/dfs/data</value>
<description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>

</configration>

 

  • 文件mapred-site.xml

<configration>
<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>
</configration>

 

  • 文件yarn-site.xml

<configration>
<property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configration>

   

  • 文件slaves

Master

Slave1

Slave2

Slave3

【指定所有的DataNode节点列表,每行一个节点名称】

Hadoop初始化

初始化,输入命令,bin/hdfs namenode -format

Hadoop启动

全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.shsbin/start-yarn.sh

停止的话,输入命令,sbin/stop-all.sh

输入命令,jps,可以看到相关信息

关闭防火墙测试

关闭防火墙:输入命令,systemctl stop firewalld.service

浏览器打开http://192.168.0.182:8088/

浏览器打开http://192.168.0.182:50070/

问题

  • 无法安装成功

文件权限问题,设置好权限

  • 安装完成,启动NameNode后,JPSDataNode无法启动

运行了两次格式化,UUID出现的冲突,删除DataNode的配置的文件夹,

然后重新生成。

  • JPS时全部都是可以的,但是网页浏览是发现没有DataNode

Hosts里面解析冲突了,把hosts里面的主机名的127.0.1.1 的名字改掉    或者把那行注释掉

  • JPS没有问题,Linux虚拟机中页面没有问题,本地无法访问

    Linux防火墙没有关闭

 

附录:各个配置文件的默认配置

 

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/core-default.xml

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

http://hadoop.apache.org/docs/r2.7.3/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

这篇关于Hadoop2.7 安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1061743

相关文章

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置(JAVA_HOME和Path),并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk(需要登录Oracle账号,没有可以免费注册)下载完

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

SQL server数据库如何下载和安装

《SQLserver数据库如何下载和安装》本文指导如何下载安装SQLServer2022评估版及SSMS工具,涵盖安装配置、连接字符串设置、C#连接数据库方法和安全注意事项,如混合验证、参数化查... 目录第一步:打开官网下载对应文件第二步:程序安装配置第三部:安装工具SQL Server Manageme

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

在Windows上使用qemu安装ubuntu24.04服务器的详细指南

《在Windows上使用qemu安装ubuntu24.04服务器的详细指南》本文介绍了在Windows上使用QEMU安装Ubuntu24.04的全流程:安装QEMU、准备ISO镜像、创建虚拟磁盘、配置... 目录1. 安装QEMU环境2. 准备Ubuntu 24.04镜像3. 启动QEMU安装Ubuntu4

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根