龍城旧事 2022-02-24 13:36
浏览 35
已结题

Spark DataFrame读取Mysql数据库数据,并创建视图,然后对数据源进行更改,会对视图产生影响吗

问题遇到的现象和发生背景
想要验证一下DataFrame的存储机制,我有一个Mysql数据源,将他加载到DataFrame,创建视图对他进行数据处理,最后用 DataFrame.write.format("jdbc").options(options).mode(SaveMode.Overwrite).option("truncate",true).save(),发现数据全都不见了。
我推测应该是在存入重写的时候清空了数据库源数据,而数据库的源数据又指向了DataFrame 创建的视图,导致数据全部丢失。

但是DataFrame的定义不是将数据缓存在内存吗,怎么会受到数据源修改的影响呢?给我整懵了。

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 3月4日
    • 创建了问题 2月24日

    悬赏问题

    • ¥15 python怎么在已有视频文件后添加新帧
    • ¥20 虚幻UE引擎如何让多个同一个蓝图的NPC执行一样的动画,
    • ¥15 fluent里模拟降膜反应的UDF编写
    • ¥15 MYSQL 多表拼接link
    • ¥15 关于某款2.13寸墨水屏的问题
    • ¥15 obsidian的中文层级自动编号
    • ¥15 同一个网口一个电脑连接有网,另一个电脑连接没网
    • ¥15 神经网络模型一直不能上GPU
    • ¥15 pyqt怎么把滑块和输入框相互绑定,求解决!
    • ¥20 wpf datagrid单元闪烁效果失灵