龍城旧事 2022-02-24 13:36
浏览 36
已结题

Spark DataFrame读取Mysql数据库数据,并创建视图,然后对数据源进行更改,会对视图产生影响吗

问题遇到的现象和发生背景
想要验证一下DataFrame的存储机制,我有一个Mysql数据源,将他加载到DataFrame,创建视图对他进行数据处理,最后用 DataFrame.write.format("jdbc").options(options).mode(SaveMode.Overwrite).option("truncate",true).save(),发现数据全都不见了。
我推测应该是在存入重写的时候清空了数据库源数据,而数据库的源数据又指向了DataFrame 创建的视图,导致数据全部丢失。

但是DataFrame的定义不是将数据缓存在内存吗,怎么会受到数据源修改的影响呢?给我整懵了。

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 3月4日
    • 创建了问题 2月24日