虚拟机ubuntu部署hadoop2.2.0伪分布(1)

2023-12-08 16:38

本文主要是介绍虚拟机ubuntu部署hadoop2.2.0伪分布(1),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg

 

开发环境:win732bit+Eclipseeclipse-jee-indigo-SR2-win32

1、首先安装虚拟机VMWare,然后在虚拟机上安装ubuntu系统(/linux镜像文件/ubuntu-12.04-server-i386.ios)

                   虚拟机和win7的网络连接方式配置的是桥连

                  

2、要查看ubuntu中的apt-get是否能用(sudo apt-get update是否报错),如果不可以用,需要查找能够连接上的软件源

(软件源可以在http://wiki.ubuntu.org.cn/%E6%BA%90%E5%88%97%E8%A1%A8此地址查找合适的数据源,更新步骤同样是参考此处)。

         更新apt-get的目的是在线安装vsftp(方便win7系统和虚拟机交互),ssh(用于hadoop启动)。

         1)首先备份源列表(for sure):sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup

         2)而后用gedit或其他编辑器打开: vim /etc/apt/sources.list,目前本人选择的软件源为搜狐更新服务器:

                   deb http://mirrors.sohu.com/ubuntu/ utopic main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-security main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-updates main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-proposed main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-backports main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-security main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-updates main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-proposed main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-backports main restricted universe multiverse

                   替换掉文件中所有的内容,保存编辑好的文件。

                   注意:一定要选对版本

         3)刷新列表: sudo apt-get update

                   注意:一定要执行刷新

3、更新vsftp

(1)查看系统是否有ftp服务:ps -e | grep vsftpd,如果安装就可以不再重复安装

(2) vsftp执行命令:sudo apt-get install vsftpd

执行此命令后可能出现以下报错,出现此报错说明没有执行sudo apt-get update此命令或者是软件源不正常导致的,需要重新配置软件源,并执行sudo apt-get update命令

安装完成之后主要修改/etc/vsftpd.conf这个文件(没发现这个文件?看看有没/etc/vsftpd/vsftpd.conf...)。注意,修改VSFTP配置之后需要重启一下其服务。(参考地址http://blog.sina.com.cn/s/blog_6b45901801012z0i.html)
1、下面这个控制用户上传许可:
write_enable=YES//该选项一般要打开,否则用户无法上传文件 

(3)重启

service vsftpd restart

4、安装shh

ssh执行命令:sudo apt-get install ssh(可参考网址:http://www.aboutyun.com/thread-6487-1-1.html

                   通过ssh localhost测试一下自己有没有设置好无口令登陆,如果没有设置好,系统将要求你输入密码,通过下面的设置可以实现无口令登陆,具体原理请百度谷歌:

                   $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

                   $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5、安装jdk(下载路径/jdk/jdk-7-linux-i586.tar)(可参考网址:http://www.aboutyun.com/thread-6750-1-1.html)

(1)解压安装

01.sudo mkdir /usr/lib/jvm

02.sudo tar zxvf ./jdk-7-linux-i586.tar.gz  -C /usr/lib/jvm

03.cd /usr/lib/jvm

04.sudo mv jdk1.7.0 java

(2)修改环境变量

vim ~/.bashrc

在最下边增加以下代码

export JAVA_HOME=/usr/lib/jvm/java

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

(3)配置默认JDK版本

由于ubuntu中可能会有默认的JDK,如openjdk,所以,为了将我们安装的JDK设置为默认JDK版本,还要进行如下工作。

执行代码:

         sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/bin/java 300

         sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/bin/javac 300

         sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java/bin/jar 300

         sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java/bin/javah 300

         sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java/bin/javap 300

(4)测试

         $ java -version

         java version "1.7.0"

         Java(TM) SE Runtime Environment (build 1.7.0-b147)

         Java HotSpot(TM) Server VM (build 21.0-b17, mixed mode)

6、hadoop2.2.0安装(下载路径/hadoop/hadoop-2.2.0.tar.gz)(可参考网址:http://www.linuxidc.com/Linux/2014-09/106148.htm)

(1)、解压hadoop压缩包

sudo tar xzvf hadoop-2.2.0.tar.gz

sudo mv hadoop2.2.0 /home/tom

要确保所有的操作都是在用户tom下完成的:

sudo chown -R tom:tom /home/tom/hadoop-2.2.0

(2)配置.bashrc文件

vim ~/.bashrc在末尾增加如下代码:

export HADOOP_INSTALL=/home/tom/hadoop-2.2.0

export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

重新加载.bashrc文件

source ~/.bashrc

(3)设定hadoop-env.sh(Java安装路径)

进入hadoop目录,打开/home/tom/hadoop-2.2.0/etc/hadoop/目录(貌似1.x的配置目录是/conf文件夹下,和2.x不同)下到hadoop-env.sh,修改信息:

vim hadoop-env.sh

在大概27行,把之前的export JAVA_HOME=${JAVA_HOME}改为

export JAVA_HOME=/usr/lib/jvm/java (视你机器的java安装路径而定)

 并且,让环境变量配置生效source

source ~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

(4)查看hadoop是否安装成功

通过命令hadoop version命令查看,出现如图结果说明安装成功:

 

这篇关于虚拟机ubuntu部署hadoop2.2.0伪分布(1)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/470578

相关文章

ubuntu如何部署Dify以及安装Docker? Dify安装部署指南

《ubuntu如何部署Dify以及安装Docker?Dify安装部署指南》Dify是一个开源的大模型应用开发平台,允许用户快速构建和部署基于大语言模型的应用,ubuntu如何部署Dify呢?详细请... Dify是个不错的开源LLM应用开发平台,提供从 Agent 构建到 AI workflow 编排、RA

ubuntu系统使用官方操作命令升级Dify指南

《ubuntu系统使用官方操作命令升级Dify指南》Dify支持自动化执行、日志记录和结果管理,适用于数据处理、模型训练和部署等场景,今天我们就来看看ubuntu系统中使用官方操作命令升级Dify的方... Dify 是一个基于 docker 的工作流管理工具,旨在简化机器学习和数据科学领域的多步骤工作流。

如何在Ubuntu上安装NVIDIA显卡驱动? Ubuntu安装英伟达显卡驱动教程

《如何在Ubuntu上安装NVIDIA显卡驱动?Ubuntu安装英伟达显卡驱动教程》Windows系统不同,Linux系统通常不会自动安装专有显卡驱动,今天我们就来看看Ubuntu系统安装英伟达显卡... 对于使用NVIDIA显卡的Ubuntu用户来说,正确安装显卡驱动是获得最佳图形性能的关键。与Windo

ubuntu16.04如何部署dify? 在Linux上安装部署Dify的技巧

《ubuntu16.04如何部署dify?在Linux上安装部署Dify的技巧》随着云计算和容器技术的快速发展,Docker已经成为现代软件开发和部署的重要工具之一,Dify作为一款优秀的云原生应用... Dify 是一个基于 docker 的工作流管理工具,旨在简化机器学习和数据科学领域的多步骤工作流。它

Nginx部署React项目时重定向循环问题的解决方案

《Nginx部署React项目时重定向循环问题的解决方案》Nginx在处理React项目请求时出现重定向循环,通常是由于`try_files`配置错误或`root`路径配置不当导致的,本文给大家详细介... 目录问题原因1. try_files 配置错误2. root 路径错误解决方法1. 检查 try_f

双系统电脑中把Ubuntu装进外接移动固态硬盘的全过程

《双系统电脑中把Ubuntu装进外接移动固态硬盘的全过程》:本文主要介绍如何在Windows11系统中使用VMware17创建虚拟机,并在虚拟机中安装Ubuntu22.04桌面版或Ubunt... 目录一、首先win11中安装vmware17二、磁盘分区三、保存四、使用虚拟机进行系统安装五、遇见的错误和解决

CentOS和Ubuntu系统使用shell脚本创建用户和设置密码

《CentOS和Ubuntu系统使用shell脚本创建用户和设置密码》在Linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设置密码,本文写了一个shell... 在linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的