weixin_43272283 2019-05-21 18:20 采纳率: 0%
浏览 1012

spark 任务执行时间长,最终卡挂了。

各位大佬,请教一个问题。
关于spark任务的。
一个大表和一个小表join,大表1.7亿条,小表几百条。
我已经把小表广播了。
在集群下执行的时候,总卡到一个task(通过ui看每次都是最后一个)上,然后长时间等待,最后报executor lost failure。就异常退出了!

这是怎么回事呢?

  • 写回答

1条回答 默认 最新

  • Me丶kang 2020-04-24 06:49
    关注

    数据倾斜了吧,先抽样reducebykey看一下各个key的分布

    评论

报告相同问题?

悬赏问题

  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 spring后端vue前端
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题