举例说明 如何通过SparkUI和日志定位任务莫名失败？

本文主要是介绍举例说明 如何通过SparkUI和日志定位任务莫名失败？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

有一个Task OOM：

• 通过概览信息，发现Stage 10的Task 36失败了4次导致Job失败。概览信息中显示最后一次失败的退出代码（exit code）是143，意味着发生了内存溢出（OOM，即Out of Memory）。
  可以点击Stage链接，查看为什么导致了Executor OOM（Out of Memory）。

• 通过上述图片发现，大部分Task都成功了，只有一个失败了，这高度怀疑是数据倾斜问题。

  • 如果是Driver逻辑失败导致App失败（例如输入路径不存在、Driver OOM等），应直接查看Driver日志。
  • 如果Driver OOM，可能需要查看Yarn UI。

• 通过Task日志进一步确认，发现日志中打印的这个Task拉取远程的Shuffle数据远超过上述成功的Task的最大值。明确失败原因为数据倾斜。
  
  

Driver fail

• Driver逻辑导致失败的可能原因包括：

  • 路径没有权限
  • 读取路径为空
  • SparkContext初始化失败
  • 作业代码自己抛出异常等

• 首先，Spark UI上没有显示失败的Job。

转而查看Driver log：

可以从Driver日志中看到访问目录没有权限：

这篇关于举例说明 如何通过SparkUI和日志定位任务莫名失败？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---