qq_40593230
分享使我快乐Hasaki
2017-10-30 07:25

spark的DataFrame forEach导致的OOM问题

  • mapreduce
  • spark
  • 内存
  • 集群
  • oom

有个困扰已久的问题,有一张hive大表,15G,集群可用剩余内存18G;
现在的想法是,想把表一行一行的读进来,然后处理,类似于mapreduce ,因为spark快点
就不考虑用MR了,但是df.foreach()这个方法是默认把整张表读进内存的,立马oom,
请问有没有大神指定怎么能,一行一行的读,然后处理。。。。。。。。。。。

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答

为你推荐

换一换