Spark1.6.1集群环境搭建——Standalone模式HA

本文主要是介绍Spark1.6.1集群环境搭建——Standalone模式HA，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

机器准备

笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。

192.168.200.11   hadoop11
192.168.200.12   hadoop12
192.168.200.13   hadoop13

安装scala

http://blog.csdn.net/silentwolfyh/article/details/51297083

在一台机器上解压、配置环境变量后，将文件夹和环境变量文件通过scp拷贝到另外两台即可。

scp -r /usr/app/scala-2.10.4 root@hadoop13:/usr/app/

下载spark

点击打开链接    http://spark.apache.org/downloads.html

解压文件 tar -xzvf spark-1.6.1-bin-hadoop2.6.tgz

备注：我选择的是基于hadoop2.6的spark1.6.1的编译版本

配置

1.  向环境变量添加spark home。

export SCALA_HOME=/usr/app/scala-2.10.4
export SPARK_HOME=/usr/app/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH: $SPARK_HOME/bin:$SCALA_HOME/bin

2.  配置./conf/slaves

首先将slaves.template拷贝一份

cp slaves.template slaves

修改slaves文件

hadoop11
hadoop12
hadoop13

3.  配置./conf/spark-env.sh

同样将spark-env.sh.template拷贝一份

export JAVA_HOME=/usr/app/jdk1.7export SCALA_HOME= /usr/app/scala-2.10.4export SPARK_MASTER_IP=hadoop11export SPARK_WORKER_MEMORY=2gexport MASTER=spark://hadoop11:7077

最后将spark-1.6.1-bin-hadoop2.6文件夹拷贝到另外两个结点即可。

启动

[root@hadoop11 spark-1.6.1-bin-hadoop2.6]# ./sbin/start-all.sh

检查安装是否成功

访问web管理界面：http://hadoop11:8080

好了，配置结束，可以在我们的spark集群上运行任务了！

HA的配置

1.  配置./conf/spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop11:2181,hadoop12:2181,hadoop13:2181 -Dspark.deploy.zookeeper.dir=/spark"

最后将/conf/spark-env.sh文件夹拷贝到另外两个结点即可。

这篇关于Spark1.6.1集群环境搭建——Standalone模式HA的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---