bossCD 2021-10-28 11:43 采纳率: 66.7%
浏览 22
已结题

spark集成hbase过程中RDD转换问题

在spark集成hbase的过程中,我先将hbase的数据读成如下RDD:
val sourceRDD: RDD[(ImmutableBytesWritable, Result)] = sc.newAPIHadoopRDD(hConf, classOf[TableInputFormat],
classOf[ImmutableBytesWritable],
classOf[Result])

然后再通过一系列转换后得到如下RDD:
val dataRDD: RDD[util.LinkedList[(ImmutableBytesWritable, Put)]] = sourceRDD.map(mapper(sourceFamily, sourceQualifier, sparse, targetFamily, targetQualifier))

现在我想将dataRDD写入到hbase中,但是如果用dataRDD.saveAsNewAPIHadoopDataset(job.getConfiguration)的话,需要将dataRDD的RDD类型由RDD[util.LinkedList[(ImmutableBytesWritable, Put)]]转换成RDD[(ImmutableBytesWritable, Put)],想问下如何才能实现呢?

  • 写回答

1条回答 默认 最新

  • 明夜再说 2021-10-28 17:49
    关注

    用flatmap

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

    报告相同问题?

    问题事件

    • 系统已结题 11月13日
    • 已采纳回答 11月5日
    • 创建了问题 10月28日

    悬赏问题

    • ¥15 MYSQL 订单的商品明细重复计算问题
    • ¥15 微信实时共享位置修改
    • ¥100 TG的session协议号转成直登号号后客户端登录几分钟后自动退出设备
    • ¥30 共模反馈回路的小信号增益
    • ¥15 arduino ssd1306函数与tone函数放歌代码不兼容问题
    • ¥70 0.96版本hbase的row_key里含有双引号,无法deleteall
    • ¥40 Ida Pro增加插件出现问题
    • ¥15 诊断性META分析合并效能的检验
    • ¥15 请问abb根据色块判断奇偶数并根据批次号放入仓储
    • ¥66 开发PC客户端一定也要开发上位机吗?