linux下基于hadoop安装hive和Zeppelin安装

2024-01-08 04:38

本文主要是介绍linux下基于hadoop安装hive和Zeppelin安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

将包放在opt目录下

/opt/soft/hive110/lib目录下

[root@wq opt]# tar -zxf hive-1.1.0-cdh5.14.2.tar.gz
[root@wq opt]# mv hive-1.1.0-cdh5.14.2 soft/hive110
[root@wq opt]# cd /opt/soft/hive110/conf
[root@wq conf]# touch hive-site.xml
[root@wq conf]# vim hive-site.xml

修改hive-site.xml如下(ip地址需要更改

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.warehouse.dir</name><value>hive110/warehouse</value></property><property><name>hive.metastore.local</name><value>false</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.100.155:3306/hive?useSSL=false&amp;createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>okok</value></property><property><name>hive.server2.authentication</name><value>NONE</value></property><property><name>hive.server2.thrift.client.user</name><value>root</value></property><property><name>hive.server2.thrift.client.password</name><value>root</value></property>
</configuration>
[root@wq conf]# vim /etc/profile
[root@wq conf]# source /etc/profile

修改profile文件如下

#hive environment
export HIVE_HOME=/opt/soft/hive110
export PATH=$path:$hive_home/bin

bin下方 

schematool -dbType mysql -initSchema

启动hive (bin下

 hive --service hiveserver2 & 

第二章Beeline用法

beeline -u jdbc:hive2://192.168.100.155:10000/mydemo

启动脚本

#! /bin/bashmy_start(){if [ $1 == "start" ];then#start hadoopsh /opt/soft/hadoop260/sbin/start-dfs.shsh /opt/soft/hadoop260/sbin/start-yarn.sh#start hivenohup  /opt/soft/hive110/bin/hive --service hiveserver2 &#start zeppelinsh /opt/soft/zeppelin081/bin/zeppelin-daemon.sh startecho "start over"else#close zeppelinsh /opt/soft/zeppelin081/bin/zeppelin-daemon.sh stop#close hivehiveprocess=`jps | grep RunJar | awk '{print $1}'`for no in $hiveprocessdokill -9 $no  #如果出现多个Jar 循环删除done#stop hadoopsh /opt/soft/hadoop260/sbin/stop-dfs.shsh /opt/soft/hadoop260/sbin/stop-yarn.shecho "stop over"fi
}my_start $1
chmod +x run.sh
source run.sh start
source run.sh stop

Zeppelin安装

tar -zvxf zeppelin-0.8.1-bin-all.tgz
mv zeppelin-0.8.1-bin-all soft/zeppelin081
 cd soft/zeppelin081/conf

修改 配置文件

cp zeppelin-site.xml.template zeppelin-site.xml
vim zeppelin-site.xml
<property><name>zeppelin.helium.registry</name><value>helium</value>
</property>
cp zeppelin-env.sh.template zeppelin-env.sh

添加JAVA_HOME和HADOOP_CONF_DIR  (指定自己的java和hadoop安装目录)

vim zeppelin-env.sh   
 export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop     
 vim /etc/profilesource /etc/profile
#zeppelin environment
export ZEPPELIN_HOME=/opt/soft/zeppelin081export PATH=$PATH:$ZEPPELIN_HOME/bin
[root@wq bin]# cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/zeppelin081/conf/

导入jar包

[root@wq bin]# cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/opt/soft/zeppelin081/interpreter/jdbc
cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zeppelin081/interpreter/jdbc/
zeppelin-daemon.sh start

 进入http://192.168.100.155:8080/#/

 

 

default.driver   org.apache.hive.jdbc.HiveDriver

default.url     jdbc:hive2://192.168.42.200:10000

default.user    hive

 

这篇关于linux下基于hadoop安装hive和Zeppelin安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/582341

相关文章

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优

conda安装GPU版pytorch默认却是cpu版本

《conda安装GPU版pytorch默认却是cpu版本》本文主要介绍了遇到Conda安装PyTorchGPU版本却默认安装CPU的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录一、问题描述二、网上解决方案罗列【此节为反面方案罗列!!!】三、发现的根本原因[独家]3.1 p

Linux基础命令@grep、wc、管道符的使用详解

《Linux基础命令@grep、wc、管道符的使用详解》:本文主要介绍Linux基础命令@grep、wc、管道符的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录grep概念语法作用演示一演示二演示三,带选项 -nwc概念语法作用wc,不带选项-c,统计字节数-

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》:本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.

Redis指南及6.2.x版本安装过程

《Redis指南及6.2.x版本安装过程》Redis是完全开源免费的,遵守BSD协议,是一个高性能(NOSQL)的key-value数据库,Redis是一个开源的使用ANSIC语言编写、支持网络、... 目录概述Redis特点Redis应用场景缓存缓存分布式会话分布式锁社交网络最新列表Redis各版本介绍旧

Linux CPU飙升排查五步法解读

《LinuxCPU飙升排查五步法解读》:本文主要介绍LinuxCPU飙升排查五步法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录排查思路-五步法1. top命令定位应用进程pid2.php top-Hp[pid]定位应用进程对应的线程tid3. printf"%

Linux下安装Anaconda3全过程

《Linux下安装Anaconda3全过程》:本文主要介绍Linux下安装Anaconda3全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录简介环境下载安装一、找到下载好的文件名为Anaconda3-2018.12-linux-x86_64的安装包二、或者通

MySQL 安装配置超完整教程

《MySQL安装配置超完整教程》MySQL是一款广泛使用的开源关系型数据库管理系统(RDBMS),由瑞典MySQLAB公司开发,目前属于Oracle公司旗下产品,:本文主要介绍MySQL安装配置... 目录一、mysql 简介二、下载 MySQL三、安装 MySQL四、配置环境变量五、配置 MySQL5.1

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》:本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo

Mybatis Plus JSqlParser解析sql语句及JSqlParser安装步骤

《MybatisPlusJSqlParser解析sql语句及JSqlParser安装步骤》JSqlParser是一个用于解析SQL语句的Java库,它可以将SQL语句解析为一个Java对象树,允许... 目录【一】jsqlParser 是什么【二】JSqlParser 的安装步骤【三】使用场景【1】sql语