oozie定时循环调度spark任务,5分钟一次,但是如果spark任务5分钟没有跑完,
下一次spark任务会读到同样的文件内容再跑吗?
问题即 当次任务执行的时间如果大于循环的时间,oozie会不会继续下一次循环,还是会一直等到那一次spark运行完再去执行呢?
oozie定时循环调度spark任务,5分钟一次,但是如果spark任务5分钟没有跑完,
下一次spark任务会读到同样的文件内容再跑吗?
问题即 当次任务执行的时间如果大于循环的时间,oozie会不会继续下一次循环,还是会一直等到那一次spark运行完再去执行呢?
刚写了一个测试程序试了一下,循环调度一个shell 。
shell中 只有一个 sleep 42332423s
当次shell 未完成,下次循环不会去执行shell,该shell的状态是 ready。
所以当次没跑完,下次不会重新启动。