问题遇到的现象和发生背景
想要验证一下DataFrame的存储机制,我有一个Mysql数据源,将他加载到DataFrame,创建视图对他进行数据处理,最后用 DataFrame.write.format("jdbc").options(options).mode(SaveMode.Overwrite).option("truncate",true).save(),发现数据全都不见了。
我推测应该是在存入重写的时候清空了数据库源数据,而数据库的源数据又指向了DataFrame 创建的视图,导致数据全部丢失。
但是DataFrame的定义不是将数据缓存在内存吗,怎么会受到数据源修改的影响呢?给我整懵了。