在Hadoop1.2.1分布式集群环境下安装hive0.12

2024-03-26 10:58

本文主要是介绍在Hadoop1.2.1分布式集群环境下安装hive0.12,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

● 前言:

1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建。

2. 之前写过两篇<<在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>、《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》都是Hadoop家族一系列的,后续还会有其它内容,敬请期待!

3. 好记性不如烂笔头,最新突然想把自己学习的东西整理出来,然而我也是刚刚学习,而且水平有限,难免会错误,请谅解并指正,如有什么问题可以留言咨询。

一、推荐阅读文章

《在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境》

《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》

二、前提条件

    Hadoop1.2.1分布式集群环境搭建成功,并且Hadoop集群服务器正常运行。

三、所需环境与软件

1. Hadoop分布式集群环境:

见《在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境》。

2.  Hive0.12: hive-0.12.0.tar.gz

四、安装与配置

1. 下载hive-0.12.0.tar.gz,并使用以下命令解压。

    tar -zxvf hive-0.12.0.tar.gz

解压后文件夹为:hive-0.12.0

2. 移动hive-0.12.0到opt目录下,命令如下。

    sudo mv hive-0.12.0 /opt/hive-0.12.0

3. 设置hive的环境变量

如(图1)所示,使用命令 sudo gedit /etc/profile  打开文件后,在文件最后面加入:

    export HIVE_HOME=/opt/hive-0.12.0

    export CLASSPATH=${CLASSPATH}:${HIVE_HOME}/lib

    export PATH=${PATH}:${HIVE_HOME}/bin


(图1)

备注:最后要使用命令:source /etc/profile  使环境变量立即生效。

4. 创建hive-env.sh、hive-site.xml文件,如(图2)所示。

    cd /opt/hive-0.12.0/conf

    cp  hive-env.sh.template   hive-env.sh

    cp hive-default.xml.template  hive-site.xml


(图2)

5. 修改hive-env.sh文件,如(图3)所示。

    HADOOP_HOME=/opt/hadoop-1.2.1

    export HIVE_CONF_DIR=/opt/hive-0.12.0/conf 


(图3)

6. 修改hive-site.xml文件,如(图4,图5)所示。

 有两处需要修改的:

    (1) hive-site.xml文件最后面,大约2000行作业,把

     <value>auth</auth>修改为<value>auth</value>。


(图4)

(2) 把hive.metastore.schema.verification=true,修改为

    hive.metastore.schema.verification=false。

意思是:(强制metastore的schema一致性,开启的话会校验在metastore中存储的信息的版本和hive的jar包中的版本一致性,并且关闭自动schema迁移,用户必须手动的升级hive并且迁移schema,关闭的话只会在版本不一致时给出警告,默认是false不开启.)


(图5)

备注:如果不修改成false的话会报一下错误:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

7. 到此hive安装完成,下面运行和测试下是否安装成功。

五、运行和测试

1. 使用 start-all.sh 命令启动hadoop集群,并使用jps查看是否启动成功,如(图6)所示。


(图6)

2. 首次使用的时候,需要使用 hive --service cli 命令,来启动hive命令行模式,如(图7)所示。

然后使用命令:

show tables;

create table test1(id int,name string);

select * from test1;

drop table test1;

来测试HiveQL是否能使用。


(图7)

备注:首次如果不使用hive --service cli 命令,来启动hive命令行模式,会报如下错误:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

再次使用的时候就不需要使用hive --service cli 命令了。

3. 如果出现如(图7)所示页面,说明运行和测试成功。

备注:可以使用以下命令使报错更详细一点:

hive -hiveconf hive.root.logger=DEBUG,console

这篇关于在Hadoop1.2.1分布式集群环境下安装hive0.12的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/848280

相关文章

Win安装MySQL8全过程

《Win安装MySQL8全过程》:本文主要介绍Win安装MySQL8全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Win安装mysql81、下载MySQL2、解压文件3、新建文件夹data,用于保存数据库数据文件4、在mysql根目录下新建文件my.ini

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

IntelliJ IDEA 中配置 Spring MVC 环境的详细步骤及问题解决

《IntelliJIDEA中配置SpringMVC环境的详细步骤及问题解决》:本文主要介绍IntelliJIDEA中配置SpringMVC环境的详细步骤及问题解决,本文分步骤结合实例给大... 目录步骤 1:创建 Maven Web 项目步骤 2:添加 Spring MVC 依赖1、保存后执行2、将新的依赖

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

如何在pycharm安装torch包

《如何在pycharm安装torch包》:本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》:本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor