Hive运行错误

2024-05-25 04:44
文章标签 hive 错误 运行

本文主要是介绍Hive运行错误,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hive

文章目录

  • Hive
    • 错误日志
    • 错误
      • SessionHiveMetaStoreClient
      • ql.Driver: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
      • error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
      • Cannot run job locally: Input Size (= 460974586) is larger than hive.exec.mode.local.auto.inputbytes.max (= 134217728)

错误日志

  • hive运行日志

  • hadoop日志

错误

SessionHiveMetaStoreClient

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
删除一个文件一个目录: derby.log和metastore_db
然后再重新初始化:
bin/schematool -dbType derby -initSchema

ql.Driver: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

查询hadoop日子:/bin/bash: /bin/java: No such file or directory
在这里插入图片描述

  • 解决:
    修改hadoop下的hadoop-env.sh文件里面的: export JAVA_HOME
    在这里插入图片描述

error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:

在这里插入图片描述

解决:

  1. 停止集群: myhodoop.sh stop

  2. 修改 /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml 为以下内容:

<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>

注意:用hadoop的完整地址,不能使用 ${HADOOP_HOME}

  1. 分发到各个集群
    xsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

  2. 重启hadoop集群: myhadoop.sh start

Cannot run job locally: Input Size (= 460974586) is larger than hive.exec.mode.local.auto.inputbytes.max (= 134217728)

export HADOOP_OPTS=“$HADOOP_OPTS -Djava.library.path=/opt/module/hadoop-3.1.3/lib/native”

这篇关于Hive运行错误的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1000513

相关文章

QT打包不依赖环境的运行程序包

文章目录 QT打包不依赖环境的运行程序包前言打包步骤 QT打包不依赖环境的运行程序包 前言   仅以此文记录一下如何使用QT自带工具对个人编写程序进行打包。 QT自带打包需要适应QT工具(windeployqt)进行。该工具可在开始菜单或安装目录找到。 打包步骤 创建项目   使用QtCreater新建项目,并使用Release方式编译生成exe程序。程序运行正常   找

求详细代码注释及为什么这么输出(主要是指针和数组运行规律是什么)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 // 二维指针     printf("Addresses of two dimensional pointer\n");     int** ptr = (int**) malloc(sizeof(int*) * 4);      printf("%d:\t%d\n", &ptr

Mysql连接错误记录

1.报  Error updating database.  Cause: java.sql.SQLException: null,  message from server: "Host 'QTDORH7JYB1LSRK' is not allowed to connect to this MySQL  解决方案,把本地ip改为localhost 最后正确的配置如下 jdbc.driver

eNSP由于Cloud网卡设置错误引起的STP环路机制问题

现象:SW1和SW2之间直连(vlan13)不可达,但是断开左边的Cloud云的虚拟之后可达(设置g0/0/1口为down) ,接口协议均up,配置正确。 查看生成树状态: 发现,SW2的g0/0/4接口为阻塞状态,即网络产生了环路,导致端口阻塞, 发现Cloud云里面设置的网卡都是同一张网卡,相当于SW1和SW3直接相连,所以产生了三角形的环路导致阻塞 解决:使用不同网卡

Flink学习笔记1--安装NC,运行Flink实时处理

NC下载地址:https://eternallybored.org/misc/netcat/ 解压到自己磁盘某地。然后在CMD中运行NC 最终效果如下: 代码如下: package com.cl;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.ja

Hadoop在windows环境下运行搭建方式、常见问题及解决方案。

准备环境   Hadoop下载         地址:Index of /hadoop/common         选择自己需要的版本下载即可,如图所示:           Jdk下载 地址: Java Downloads | Oracle 安装步骤参考: JDK1.8下载与安装(完整的图文教程)_zam183的博客-CSDN博客 注意:jdk选择安装路径时文件目录

计算机毕业设计hadoop+spark+hive知识图谱酒店推荐系统 酒店数据分析可视化大屏 酒店爬虫 高德地图API 酒店预测系统 大数据毕业设计

流程: 1.Python爬取去哪儿网全站旅游数据约10万+,存入mysql; 2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗,使用高德API计算地理信息,最终转为.csv文件上传hdfs; 3.hive建库建表导入.csv文件作为数据集; 4.一半指标使用离线hive_sql分析完成,一半指标使用实时Spark之Scala完成; 5.分析结果使

java项目没有挂但是所有线程停止运行,jstack和jmap等分析工具也无法使用

java项目使用jacob调用本地接口跟设备通讯 项目没有挂但是所有线程停止运行,jconsole、jstack和jmap等分析工具也无法使用,只能通过jstack -F 指令强制打印线程信息,下面是打印的现成信息,目前没找到问题,后面找到后进行更新 Microsoft Windows [版本 10.0.14393](c) 2016 Microsoft Corporation。保留所有权利。C

一次Jeesite升级JDK导致的错误:The absolute uri: http://java.sun.com/jsp/jstl/core

这里写目录标题 场景升级步骤出现的问题问题的解决反思 场景 有个项目用的jeesite 1.0进行的开发,由于服务器要求JDK使用1.8的,而jeesite是JDK 1.7的,所以进行一下升级,但是升级过程中遇到了一些问题,今天记录一下 Eclipse中Java的Web项目怎么升级为JDK1.8 升级步骤 1.找到Eclipse的项目,在项目上右键》Properties然后

HIVE及SparkSQL优化经验

简介 针对高耗跑批时间长的作业,在公司近3个月做过一个优化专项;优化成效:综合cpu、内存、跑批耗时减少均在65%以上; cpu和内存消耗指的是:vcoreseconds和memoryseconds 这里简单说下优化的一些思路,至于优化细节之前写过两篇,或可参考:: sparksql优化:https://blog.csdn.net/me_to_007/article/details/1309