linux下基于hadoop安装hive和Zeppelin安装

2024-01-08 04:38

本文主要是介绍linux下基于hadoop安装hive和Zeppelin安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

将包放在opt目录下

/opt/soft/hive110/lib目录下

[root@wq opt]# tar -zxf hive-1.1.0-cdh5.14.2.tar.gz
[root@wq opt]# mv hive-1.1.0-cdh5.14.2 soft/hive110
[root@wq opt]# cd /opt/soft/hive110/conf
[root@wq conf]# touch hive-site.xml
[root@wq conf]# vim hive-site.xml

修改hive-site.xml如下(ip地址需要更改

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.warehouse.dir</name><value>hive110/warehouse</value></property><property><name>hive.metastore.local</name><value>false</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.100.155:3306/hive?useSSL=false&amp;createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>okok</value></property><property><name>hive.server2.authentication</name><value>NONE</value></property><property><name>hive.server2.thrift.client.user</name><value>root</value></property><property><name>hive.server2.thrift.client.password</name><value>root</value></property>
</configuration>
[root@wq conf]# vim /etc/profile
[root@wq conf]# source /etc/profile

修改profile文件如下

#hive environment
export HIVE_HOME=/opt/soft/hive110
export PATH=$path:$hive_home/bin

bin下方 

schematool -dbType mysql -initSchema

启动hive (bin下

 hive --service hiveserver2 & 

第二章Beeline用法

beeline -u jdbc:hive2://192.168.100.155:10000/mydemo

启动脚本

#! /bin/bashmy_start(){if [ $1 == "start" ];then#start hadoopsh /opt/soft/hadoop260/sbin/start-dfs.shsh /opt/soft/hadoop260/sbin/start-yarn.sh#start hivenohup  /opt/soft/hive110/bin/hive --service hiveserver2 &#start zeppelinsh /opt/soft/zeppelin081/bin/zeppelin-daemon.sh startecho "start over"else#close zeppelinsh /opt/soft/zeppelin081/bin/zeppelin-daemon.sh stop#close hivehiveprocess=`jps | grep RunJar | awk '{print $1}'`for no in $hiveprocessdokill -9 $no  #如果出现多个Jar 循环删除done#stop hadoopsh /opt/soft/hadoop260/sbin/stop-dfs.shsh /opt/soft/hadoop260/sbin/stop-yarn.shecho "stop over"fi
}my_start $1
chmod +x run.sh
source run.sh start
source run.sh stop

Zeppelin安装

tar -zvxf zeppelin-0.8.1-bin-all.tgz
mv zeppelin-0.8.1-bin-all soft/zeppelin081
 cd soft/zeppelin081/conf

修改 配置文件

cp zeppelin-site.xml.template zeppelin-site.xml
vim zeppelin-site.xml
<property><name>zeppelin.helium.registry</name><value>helium</value>
</property>
cp zeppelin-env.sh.template zeppelin-env.sh

添加JAVA_HOME和HADOOP_CONF_DIR  (指定自己的java和hadoop安装目录)

vim zeppelin-env.sh   
 export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop     
 vim /etc/profilesource /etc/profile
#zeppelin environment
export ZEPPELIN_HOME=/opt/soft/zeppelin081export PATH=$PATH:$ZEPPELIN_HOME/bin
[root@wq bin]# cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/zeppelin081/conf/

导入jar包

[root@wq bin]# cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/opt/soft/zeppelin081/interpreter/jdbc
cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zeppelin081/interpreter/jdbc/
zeppelin-daemon.sh start

 进入http://192.168.100.155:8080/#/

 

 

default.driver   org.apache.hive.jdbc.HiveDriver

default.url     jdbc:hive2://192.168.42.200:10000

default.user    hive

 

这篇关于linux下基于hadoop安装hive和Zeppelin安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/582341

相关文章

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk?1.查看linux系统是否有自带的jdk:2.下载jdk压缩包2.解压3.配置环境

Linux搭建ftp服务器的步骤

《Linux搭建ftp服务器的步骤》本文给大家分享Linux搭建ftp服务器的步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录ftp搭建1:下载vsftpd工具2:下载客户端工具3:进入配置文件目录vsftpd.conf配置文件4:

Linux实现查看某一端口是否开放

《Linux实现查看某一端口是否开放》文章介绍了三种检查端口6379是否开放的方法:通过lsof查看进程占用,用netstat区分TCP/UDP监听状态,以及用telnet测试远程连接可达性... 目录1、使用lsof 命令来查看端口是否开放2、使用netstat 命令来查看端口是否开放3、使用telnet

Linux系统管理与进程任务管理方式

《Linux系统管理与进程任务管理方式》本文系统讲解Linux管理核心技能,涵盖引导流程、服务控制(Systemd与GRUB2)、进程管理(前台/后台运行、工具使用)、计划任务(at/cron)及常用... 目录引言一、linux系统引导过程与服务控制1.1 系统引导的五个关键阶段1.2 GRUB2的进化优

Python库 Django 的简介、安装、用法入门教程

《Python库Django的简介、安装、用法入门教程》Django是Python最流行的Web框架之一,它帮助开发者快速、高效地构建功能强大的Web应用程序,接下来我们将从简介、安装到用法详解,... 目录一、Django 简介 二、Django 的安装教程 1. 创建虚拟环境2. 安装Django三、创

Linux查询服务器 IP 地址的命令详解

《Linux查询服务器IP地址的命令详解》在服务器管理和网络运维中,快速准确地获取服务器的IP地址是一项基本但至关重要的技能,下面我们来看看Linux中查询服务器IP的相关命令使用吧... 目录一、hostname 命令:简单高效的 IP 查询工具命令详解实际应用技巧注意事项二、ip 命令:新一代网络配置全