spark运维监控：查看历史作业的webUI

本文主要是介绍spark运维监控：查看历史作业的webUI，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1、停止集群
2、配置spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://centos-5:9001/spark-event"

3、重启集群
4、启动history server
5、运行spark-shell，在standalone模式下和yarn模式下，分别执行一个作业
6、通过centos-4:18080的HistoryServer UI可以看到所有运行后的作业信息

这篇关于spark运维监控：查看历史作业的webUI的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---