MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.

本文主要是介绍MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

我在搭建集群后,所有服务均可正常启动,但是在测试mapreduce任务的时候,总是提示错误,我在修改了各项配置,可是还是提示错误

以下是报错信息

Number of Maps  = 1
Samples per Map = 1
Wrote input for Map #0
Starting Job
2021-11-21 19:58:02,262 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/xiaoman/.staging/job_1637495728045_0002
2021-11-21 19:58:02,417 INFO input.FileInputFormat: Total input files to process : 1
2021-11-21 19:58:02,534 INFO mapreduce.JobSubmitter: number of splits:1
2021-11-21 19:58:02,784 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1637495728045_0002
2021-11-21 19:58:02,785 INFO mapreduce.JobSubmitter: Executing with tokens: []
2021-11-21 19:58:02,950 INFO conf.Configuration: resource-types.xml not found
2021-11-21 19:58:02,950 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2021-11-21 19:58:03,027 INFO impl.YarnClientImpl: Submitted application application_1637495728045_0002
2021-11-21 19:58:03,072 INFO mapreduce.Job: The url to track the job: http://hadoop-168-0-112:8088/proxy/application_1637495728045_0002/
2021-11-21 19:58:03,073 INFO mapreduce.Job: Running job: job_1637495728045_0002
2021-11-21 19:58:17,299 INFO mapreduce.Job: Job job_1637495728045_0002 running in uber mode : false
2021-11-21 19:58:17,300 INFO mapreduce.Job:  map 0% reduce 0%
2021-11-21 19:58:17,325 INFO mapreduce.Job: Job job_1637495728045_0002 failed with state FAILED due to: Application application_1637495728045_0002 failed 2 times due to AM Container for appattempt_1637495728045_0002_000002 exited with  exitCode: 1
Failing this attempt.Diagnostics: [2021-11-21 19:58:16.237]Exception from container-launch.
Container id: container_e05_1637495728045_0002_02_000001
Exit code: 1
​
[2021-11-21 19:58:16.298]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
​
​
[2021-11-21 19:58:16.299]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
​
​
For more detailed output, check the application tracking page: http://hadoop-168-0-112:8088/cluster/app/application_1637495728045_0002 Then click on links to logs of each attempt.
. Failing the application.
2021-11-21 19:58:17,391 INFO mapreduce.Job: Counters: 0
Job job_1637495728045_0002 failed!

我在确定不启动集群,只是在一个节点运行mapreduce任务的时候,是没有问题的,但是启动集群后,反而不能运行成功,怀疑可能是集群配置有问题,在集群启动后ResourceManager这边出现了问题(没有启动集群的时候,是没有运行ResourceManager服务的,所以不需要用到ResourceManager调度,这时执行任务没有出现问题,而启动后ResourceManager会对整个集群的资源进行调度,这时跑任务反而出现了问题,所以ResourceManager嫌疑最大),查了几天资料都没找到相关信息,结果一个偶然找到了下面博主的一篇文章Mapreduce运行异常Container exited with a non-zero exit code 1

终其原因还是配置的问题,在hadoop3.0需要加上ResourceManager的webapp地址参数配置,yarn.resourcemanager.webapp.address.rm1, yarn.resourcemanager.scheduler.address.rm2,加上这两个配置后任务就可以成功运行了。

下面是博主的原文,有兴趣的可以去看看。

Mapreduce运行异常Container exited with a non-zero exit code 1_danielchan2518的专栏-CSDN博客用idea编写mapreduce读写hbase,并打包jar放到集群服务器上运行时出现下面错误:[2019-01-05 04:03:01.278]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes ...https://blog.csdn.net/danielchan2518/article/details/85887597

这篇关于MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/337707

相关文章

javax.net.ssl.SSLHandshakeException:异常原因及解决方案

《javax.net.ssl.SSLHandshakeException:异常原因及解决方案》javax.net.ssl.SSLHandshakeException是一个SSL握手异常,通常在建立SS... 目录报错原因在程序中绕过服务器的安全验证注意点最后多说一句报错原因一般出现这种问题是因为目标服务器

Java对异常的认识与异常的处理小结

《Java对异常的认识与异常的处理小结》Java程序在运行时可能出现的错误或非正常情况称为异常,下面给大家介绍Java对异常的认识与异常的处理,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参... 目录一、认识异常与异常类型。二、异常的处理三、总结 一、认识异常与异常类型。(1)简单定义-什么是

Python主动抛出异常的各种用法和场景分析

《Python主动抛出异常的各种用法和场景分析》在Python中,我们不仅可以捕获和处理异常,还可以主动抛出异常,也就是以类的方式自定义错误的类型和提示信息,这在编程中非常有用,下面我将详细解释主动抛... 目录一、为什么要主动抛出异常?二、基本语法:raise关键字基本示例三、raise的多种用法1. 抛

Java空指针异常NullPointerException的原因与解决方案

《Java空指针异常NullPointerException的原因与解决方案》在Java开发中,NullPointerException(空指针异常)是最常见的运行时异常之一,通常发生在程序尝试访问或... 目录一、空指针异常产生的原因1. 变量未初始化2. 对象引用被显式置为null3. 方法返回null

IDEA下"File is read-only"可能原因分析及"找不到或无法加载主类"的问题

《IDEA下Fileisread-only可能原因分析及找不到或无法加载主类的问题》:本文主要介绍IDEA下Fileisread-only可能原因分析及找不到或无法加载主类的问题,具有很好的参... 目录1.File is read-only”可能原因2.“找不到或无法加载主类”问题的解决总结1.File

redis在spring boot中异常退出的问题解决方案

《redis在springboot中异常退出的问题解决方案》:本文主要介绍redis在springboot中异常退出的问题解决方案,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴... 目录问题:解决 问题根源️ 解决方案1. 异步处理 + 提前ACK(关键步骤)2. 调整Redis消费者组

springboot项目redis缓存异常实战案例详解(提供解决方案)

《springboot项目redis缓存异常实战案例详解(提供解决方案)》redis基本上是高并发场景上会用到的一个高性能的key-value数据库,属于nosql类型,一般用作于缓存,一般是结合数据... 目录缓存异常实践案例缓存穿透问题缓存击穿问题(其中也解决了穿透问题)完整代码缓存异常实践案例Red

Java内存区域与内存溢出异常的详细探讨

《Java内存区域与内存溢出异常的详细探讨》:本文主要介绍Java内存区域与内存溢出异常的相关资料,分析异常原因并提供解决策略,如参数调整、代码优化等,帮助开发者排查内存问题,需要的朋友可以参考下... 目录一、引言二、Java 运行时数据区域(一)程序计数器(二)Java 虚拟机栈(三)本地方法栈(四)J

解决Java异常报错:java.nio.channels.UnresolvedAddressException问题

《解决Java异常报错:java.nio.channels.UnresolvedAddressException问题》:本文主要介绍解决Java异常报错:java.nio.channels.Unr... 目录异常含义可能出现的场景1. 错误的 IP 地址格式2. DNS 解析失败3. 未初始化的地址对象解决

python利用backoff实现异常自动重试详解

《python利用backoff实现异常自动重试详解》backoff是一个用于实现重试机制的Python库,通过指数退避或其他策略自动重试失败的操作,下面小编就来和大家详细讲讲如何利用backoff实... 目录1. backoff 库简介2. on_exception 装饰器的原理2.1 核心逻辑2.2