Spark Streaming 通过Direct方式消费Kafka并手动维护Offset到Mysql,极限情况下如果提交offset的时候故障了该怎么办？

Question

Spark Streaming 处理数据以后要提交offset的时候出现故障造成offset提交失败，不做处理的话可能会导致数据重复，
这种极限情况下该怎么保证Spark Streaming 实现精准一次性消费Kafka的数据呢？

Answer 1

https://blog.csdn.net/weixin_45399233/article/details/100538439