SparkStreaming使用spark-sql进行维表关联时Checkpoint问题

Question

我现在是一个spark实时任务..然后关联一张维表..我会先把这张维表read进来创建成createOrReplaceTempView临时视图..
然后和流进行关联.. 会有agg操作所以我使用outputMode(OutputMode.Complete())
但是运行后它一直报Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): Parent directory doesn't exist: /data/spark/warehouse/dwcbest/hudi/app_really_wechat_wx_coupon_stock_detail_test/checkpoint/commits
我很纳闷然后我狠心自己去HDFS上面创建了 一个 commits文件夹,但是运行任务后,居然被删除了

Answer 1

可能是hadoop的问题，可参考：https://blog.csdn.net/weiyongle1996/article/details/74094989/