首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
spark2.2专题
CDH5.14.4离线安装Spark2.2.0详细步骤
目录 一、简介: 二、安装准备 三、开始安装 四、spark-shell启动问题 五、spark安装问题 一、简介: 在我的CDH5.14.4集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的( H
阅读更多...
spark2.2读写操作hive和mysql数据库
sparksession操作hive数据库 1.需要将core-site.xml,hdfs-site.xml,hive-site.xml放入resources中。 2.创建sparksession的时候加入属性 .enableHiveSupport() 3.操作hive数据库 spark.sql("use hisms_sl")spark.sql("show tables").show(10)va
阅读更多...