ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者

2024-05-28 04:32

本文主要是介绍ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

各种纠结  期间ubuntu安装无数次 hadoop各种版本尝试无数次 都悲剧 然后看到这个www.linuxidc.com/Linux/2013-01/78391.htm  还是悲剧,稍加修改搞定之

一、安装JDK
1、下载并安装
        sudo apt-get install openjdk-7-jdk
        要求输入当前用户密码时输入密码,回车;
        要求输入YES/NO时,输入YES,回车,一路向下安装完成;
2、在命令行输入JAVA -VERSION查看是否安装成功
3、配置环境变量
        编辑文件/etc/profile,

        sudo gedit /etc/profile

        在文件最下面加入以下三行
        export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JAVA所在的实际目录)
        export PATH=$JAVA_HOME/bin:$PATH
        export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
二、配置SSH免密码登录
1、安装所需软件
        sudo apt-get install install ssh
2、配置ssh免密码登录
        ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
        cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
3、验证是否成功
        ssh localhost
三、安装Hadoop
1、下载Hadoop至服务器,

       下载地址   archive.apache.org/dist/hadoop/common/hadoop-1.0.4/

        其实是下载到home的下载那个文件夹了,需要移动到/home下,然后才可以进行下一步解压
2、解压
        tar -xvf hadoop-1.0.4.tar
3、配置Hadoop

此处作一说明:很多安装教程会把hadoop放在/usr/local/下  这样的话 作下面几个文件的修改  就需要通过终端而且是用管理员权限去做,但本教程是/home下,所以可以直接gedit打开  在里面修改 根本不需要通过终端打开
        以下四个配置文件均在Hadoop解压文件夹的conf/目录下
        (1)、配置hadoop-env.sh
        修改JAVA_HOME:
        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
        (2)、配置core-site.xml
        修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
        <configuration>
            <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
        (3)、配置hdfs-site.xml
        修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>
        (4)、配置mapred-site.xml
        修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
        <configuration>
            <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
            </property>
          </configuration>
4、初始化HDFS

       在执行下面的命令之前 一定要做这一步 就是把解压出来的那个hadoop-1.0.4文件夹的内容直接放到/home下
        bin/hadoop namenode -format
5、启动所有Hadoop服务
        bin/start-all.sh
6、验证是否安装成功

       如果终端输入jps  出来6个
        打开浏览器,分别输入以下网址:
        http://localhost:50030 (MapReduce的Web页面)
        http://localhost:50070 (HDfS的web页面)
        如果能成功访问,则说明Hadoop安装成功

这篇关于ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1009542

相关文章

mybatis映射器配置小结

《mybatis映射器配置小结》本文详解MyBatis映射器配置,重点讲解字段映射的三种解决方案(别名、自动驼峰映射、resultMap),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定... 目录select中字段的映射问题使用SQL语句中的别名功能使用mapUnderscoreToCame

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Vite 打包目录结构自定义配置小结

《Vite打包目录结构自定义配置小结》在Vite工程开发中,默认打包后的dist目录资源常集中在asset目录下,不利于资源管理,本文基于Rollup配置原理,本文就来介绍一下通过Vite配置自定义... 目录一、实现原理二、具体配置步骤1. 基础配置文件2. 配置说明(1)js 资源分离(2)非 JS 资

MySQL8 密码强度评估与配置详解

《MySQL8密码强度评估与配置详解》MySQL8默认启用密码强度插件,实施MEDIUM策略(长度8、含数字/字母/特殊字符),支持动态调整与配置文件设置,推荐使用STRONG策略并定期更新密码以提... 目录一、mysql 8 密码强度评估机制1.核心插件:validate_password2.密码策略级

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

QT Creator配置Kit的实现示例

《QTCreator配置Kit的实现示例》本文主要介绍了使用Qt5.12.12与VS2022时,因MSVC编译器版本不匹配及WindowsSDK缺失导致配置错误的问题解决,感兴趣的可以了解一下... 目录0、背景:qt5.12.12+vs2022一、症状:二、原因:(可以跳过,直奔后面的解决方法)三、解决方

SpringBoot路径映射配置的实现步骤

《SpringBoot路径映射配置的实现步骤》本文介绍了如何在SpringBoot项目中配置路径映射,使得除static目录外的资源可被访问,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一... 目录SpringBoot路径映射补:springboot 配置虚拟路径映射 @RequestMapp

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队