无语-1985 2021-07-30 17:12 采纳率: 0%
浏览 150
已结题

spark编程中使用foreachPartition的方法里的代码不执行

使用foreachPartition的时候发现,除println能正常打印外,其他的代码都没有执行,请大家们分析一下
foreachPartition为什么不执行其他代码呢?代码如下:

 data.foreachPartition(row=>{
      LogUtils.log.info("["+label+"]=" +"["+TaskContext.getPartitionId+"]")
      LogUtils.print("["+label+"]=" +"["+TaskContext.getPartitionId+"]")
      val mysqlUtils = new MysqlUtils(mysqlUrl, mysqlUser, mysqlPwd)
        mysqlUtils.connect()
        mysqlUtils.prePareSql(label,schema)
        var count = 0
        try{
          row.foreach(
            line=>{
              LogUtils.print("["+label+"]=" +"["+TaskContext.getPartitionId+"]"+line.get(0))
              LogUtils.log.info("["+label+"]=" +"["+TaskContext.getPartitionId+"]"+line.get(0))
              mysqlUtils.saveWideTable(label,schema,line)
              count = count+1
            }
          )
          mysqlUtils.saveRptTable(label,count,TaskContext.getPartitionId)
        }catch {
          case e: Exception => {
            e.printStackTrace()
            mysqlUtils.rollback()
            LogUtils.log.error(e.getMessage)
          }
        } finally {
          mysqlUtils.commit()
          mysqlUtils.disConnect()
        }
      })

  • 写回答

1条回答 默认 最新

  • 有问必答小助手 2021-08-02 15:58
    关注

    你好,我是有问必答小助手,非常抱歉,本次您提出的有问必答问题,技术专家团超时未为您做出解答

    本次提问扣除的有问必答次数,将会以问答VIP体验卡(1次有问必答机会、商城购买实体图书享受95折优惠)的形式为您补发到账户。

    ​​​​因为有问必答VIP体验卡有效期仅有1天,您在需要使用的时候【私信】联系我,我会为您补发。

    评论

报告相同问题?

问题事件

  • 系统已结题 8月7日
  • 创建了问题 7月30日

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器