南城、每天都要学习呀 2023-07-18 17:14 采纳率: 0%
浏览 13

HuDi写入数据,只有表没有数据,这是为啥呀

#hudi写入数据,只有表没有数据,这是为啥呀

img

img

  // 写入HuDi表
  def writeHuDiTable(df: DataFrame,tableName:String,path:String = "ods",preCombineField:String,primaryKey:String = "id",partition:String = "etl_date"): Unit ={
    // TODO: b. 插入数据至Hudi表
    import org.apache.hudi.DataSourceWriteOptions._
    import org.apache.hudi.config.HoodieWriteConfig._
    import org.apache.spark.sql.SaveMode.Append
    import org.apache.hudi.QuickstartUtils.getQuickstartWriteConfigs

    df.write.format("hudi").
      options(getQuickstartWriteConfigs).
      option(PRECOMBINE_FIELD.key(), preCombineField).
      option(RECORDKEY_FIELD.key(), primaryKey).
      option(PARTITIONPATH_FIELD.key(), partition).
      option(TBL_NAME.key(), tableName).
      mode(Overwrite).
      save(s"/user/hive/warehouse/hudi_gy_${path}.db/$tableName")
  }


上面是我的代码

  • 写回答

1条回答 默认 最新

  • 一位热心程序猿 2023-07-21 17:53
    关注

    看一下有没有给df 数据,如果是空的肯定不会有数据插入的

    评论

报告相同问题?

问题事件

  • 创建了问题 7月18日

悬赏问题

  • ¥15 微信小程序 用oss下载 aliyun-oss-sdk-6.18.0.min client报错
  • ¥15 ArcGIS批量裁剪
  • ¥15 labview程序设计
  • ¥15 为什么在配置Linux系统的时候执行脚本总是出现E: Failed to fetch http:L/cn.archive.ubuntu.com
  • ¥15 Cloudreve保存用户组存储空间大小时报错
  • ¥15 伪标签为什么不能作为弱监督语义分割的结果?
  • ¥15 编一个判断一个区间范围内的数字的个位数的立方和是否等于其本身的程序在输入第1组数据后卡住了(语言-c语言)
  • ¥15 Mac版Fiddler Everywhere4.0.1提示强制更新
  • ¥15 android 集成sentry上报时报错。
  • ¥15 抖音看过的视频,缓存在哪个文件