CY19980216
囚生CY
采纳率0%
2020-06-29 11:12

pyspark进行表连接时,左连接后无法display,但是同样逻辑改写成右连接后可以成功display,这种情况是怎么回事?

这个问题之前也遇到过,都是spark逻辑无误,执行的结果表可以查看df.dtypes,df.columns等信息,但是无法df.count(),df.show()以及导出到外部文件。之前听前辈说是spark不支持循环连接,也没有搞明白怎么回事。最近又碰到了类似的情况,怎么调也调不好,阴差阳错把左连接反过来写成右连接就可以跑通了,有人碰到过这种情况吗?

图片说明

如图所示,笔者三天前写的group_df与group_id2name_df左连接是可以正常跑通的,但是今天就报错了,后来改成右连接又可以跑通,现在真的是丈二和尚摸不着头脑了。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

1条回答

为你推荐