首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
spark1.3专题
使用虚拟机(MobaXterm)从零开始搭建Spark1.3集群
准备工作 1. Hadoop:hadoop-2.4.1.tar.gz 2. Spark:下载编译好的基于对应hadoop版本的版本:spark-1.3.0-bin-hadoop2.4.tgz 3.JAVA:jdk-7u80-linux-x64.tar.gz 4. scala:scala-2.11.8.tgz5 搭建环境 在MobaXterm界面连接服务器,使用命令sudo vir
阅读更多...
Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解
前言 本文在安装前已经配置好了spark1.3和hadoop2.6,因项目需求需要搭建tachyon,但是搭建过程中遇到了很多很多很多的问题,写下本文用来记录这一路上所踩过的坑 吐槽一句:tachyon的官方文档不是很完善啊,完全按照他的做肯定成功不了。。。 单节点安装 先说单点,单点搞定,集群就简单了 安装tachyon,官网(https://github.com/amplab
阅读更多...