本文主要是介绍Spark job在hue-oozie中的另一种方式调度，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
工作中使用的是hue来配置oozie工作流调度及任务中调度关系，spark job的输入是由hive sql产生输出的表，在配置spark job由于一些客观关系出现很多问题导致无法正确的执行，在oozie中支持spark job的及shell job的配置执行
1. 采用spark program组件配置， 目前版本过低无法添加运行时的一些参数
官网http://gethue.com/how-to-schedule-spark-jobs-with-spark-on-yarn-and-oozie/给出最新的例子
2. 采用ssh组件配置远程到部署test_spark.sh的机器上执行
由于环境配置问题，出现异常错误 ssh-base.sh not present，暂未解决
2017-01-03 20:22:07,354 WARN ActionStartXCommand:523 - SERVER[m-hadoop] USER[xubingchuan] GROUP[-] TOKEN[] APP[test_ssh_shell] JOB[0052820-161122132240169-oozie-oozi-W] ACTION[0052820-161122132240169-oozie-oozi-W@ssh-8f58] Error starting action [ssh-8f58]. ErrorType [TRANSIENT], ErrorCode [FNF], Message [FNF: Required Local file /var/tmp/oozie/oozie-oozi5514069982911677039.dir/ssh/ssh-base.sh not present.]
org.apache.oozie.action.ActionExecutorException: FNF: Required Local file /var/tmp/oozie/oozie-oozi5514069982911677039.dir/ssh/ssh-base.sh not present.at org.apache.oozie.action.ssh.SshActionExecutor.execute(SshActionExecutor.java:572)at org.apache.oozie.action.ssh.SshActionExecutor.start(SshActionExecutor.java:206)at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStart这篇关于Spark job在hue-oozie中的另一种方式调度的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
