本文主要是介绍虚拟机ubuntu部署hadoop2.2.0伪分布(1),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg
开发环境:win7(32bit)+Eclipse(eclipse-jee-indigo-SR2-win32)
1、首先安装虚拟机VMWare,然后在虚拟机上安装ubuntu系统(/linux镜像文件/ubuntu-12.04-server-i386.ios)
虚拟机和win7的网络连接方式配置的是桥连
2、要查看ubuntu中的apt-get是否能用(sudo apt-get update是否报错),如果不可以用,需要查找能够连接上的软件源
(软件源可以在http://wiki.ubuntu.org.cn/%E6%BA%90%E5%88%97%E8%A1%A8此地址查找合适的数据源,更新步骤同样是参考此处)。
更新apt-get的目的是在线安装vsftp(方便win7系统和虚拟机交互),ssh(用于hadoop启动)。
(1)首先备份源列表(for sure):sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup
(2)而后用gedit或其他编辑器打开: vim /etc/apt/sources.list,目前本人选择的软件源为搜狐更新服务器:
deb http://mirrors.sohu.com/ubuntu/ utopic main restricted universe multiverse
deb http://mirrors.sohu.com/ubuntu/ utopic-security main restricted universe multiverse
deb http://mirrors.sohu.com/ubuntu/ utopic-updates main restricted universe multiverse
deb http://mirrors.sohu.com/ubuntu/ utopic-proposed main restricted universe multiverse
deb http://mirrors.sohu.com/ubuntu/ utopic-backports main restricted universe multiverse
deb-src http://mirrors.sohu.com/ubuntu/ utopic main restricted universe multiverse
deb-src http://mirrors.sohu.com/ubuntu/ utopic-security main restricted universe multiverse
deb-src http://mirrors.sohu.com/ubuntu/ utopic-updates main restricted universe multiverse
deb-src http://mirrors.sohu.com/ubuntu/ utopic-proposed main restricted universe multiverse
deb-src http://mirrors.sohu.com/ubuntu/ utopic-backports main restricted universe multiverse
替换掉文件中所有的内容,保存编辑好的文件。
注意:一定要选对版本
(3)刷新列表: sudo apt-get update
注意:一定要执行刷新
3、更新vsftp
(1)查看系统是否有ftp服务:ps -e | grep vsftpd,如果安装就可以不再重复安装
(2) vsftp执行命令:sudo apt-get install vsftpd
执行此命令后可能出现以下报错,出现此报错说明没有执行sudo apt-get update此命令或者是软件源不正常导致的,需要重新配置软件源,并执行sudo apt-get update命令:
安装完成之后主要修改/etc/vsftpd.conf这个文件(没发现这个文件?看看有没/etc/vsftpd/vsftpd.conf...)。注意,修改VSFTP配置之后需要重启一下其服务。(参考地址http://blog.sina.com.cn/s/blog_6b45901801012z0i.html)
1、下面这个控制用户上传许可:
write_enable=YES//该选项一般要打开,否则用户无法上传文件
(3)重启
service vsftpd restart
4、安装shh
ssh执行命令:sudo apt-get install ssh(可参考网址:http://www.aboutyun.com/thread-6487-1-1.html)
通过ssh localhost测试一下自己有没有设置好无口令登陆,如果没有设置好,系统将要求你输入密码,通过下面的设置可以实现无口令登陆,具体原理请百度谷歌:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5、安装jdk(下载路径/jdk/jdk-7-linux-i586.tar)(可参考网址:http://www.aboutyun.com/thread-6750-1-1.html)
(1)解压安装
01.sudo mkdir /usr/lib/jvm
02.sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm
03.cd /usr/lib/jvm
04.sudo mv jdk1.7.0 java
(2)修改环境变量
vim ~/.bashrc
在最下边增加以下代码
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
(3)配置默认JDK版本
由于ubuntu中可能会有默认的JDK,如openjdk,所以,为了将我们安装的JDK设置为默认JDK版本,还要进行如下工作。
执行代码:
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/bin/javac 300
sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java/bin/jar 300
sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java/bin/javah 300
sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java/bin/javap 300
(4)测试
$ java -version
java version "1.7.0"
Java(TM) SE Runtime Environment (build 1.7.0-b147)
Java HotSpot(TM) Server VM (build 21.0-b17, mixed mode)
6、hadoop2.2.0安装(下载路径/hadoop/hadoop-2.2.0.tar.gz)(可参考网址:http://www.linuxidc.com/Linux/2014-09/106148.htm)
(1)、解压hadoop压缩包
sudo tar xzvf hadoop-2.2.0.tar.gz
sudo mv hadoop2.2.0 /home/tom
要确保所有的操作都是在用户tom下完成的:
sudo chown -R tom:tom /home/tom/hadoop-2.2.0
(2)配置.bashrc文件
vim ~/.bashrc在末尾增加如下代码:
export HADOOP_INSTALL=/home/tom/hadoop-2.2.0
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
重新加载.bashrc文件
source ~/.bashrc
(3)设定hadoop-env.sh(Java安装路径)
进入hadoop目录,打开/home/tom/hadoop-2.2.0/etc/hadoop/目录(貌似1.x的配置目录是/conf文件夹下,和2.x不同)下到hadoop-env.sh,修改信息:
vim hadoop-env.sh
在大概27行,把之前的export JAVA_HOME=${JAVA_HOME}改为
export JAVA_HOME=/usr/lib/jvm/java (视你机器的java安装路径而定)
并且,让环境变量配置生效source
source ~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
(4)查看hadoop是否安装成功
通过命令hadoop version命令查看,出现如图结果说明安装成功:
这篇关于虚拟机ubuntu部署hadoop2.2.0伪分布(1)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!