bossCD 2021-10-28 11:43 采纳率: 66.7%
浏览 22
已结题

spark集成hbase过程中RDD转换问题

在spark集成hbase的过程中,我先将hbase的数据读成如下RDD:
val sourceRDD: RDD[(ImmutableBytesWritable, Result)] = sc.newAPIHadoopRDD(hConf, classOf[TableInputFormat],
classOf[ImmutableBytesWritable],
classOf[Result])

然后再通过一系列转换后得到如下RDD:
val dataRDD: RDD[util.LinkedList[(ImmutableBytesWritable, Put)]] = sourceRDD.map(mapper(sourceFamily, sourceQualifier, sparse, targetFamily, targetQualifier))

现在我想将dataRDD写入到hbase中,但是如果用dataRDD.saveAsNewAPIHadoopDataset(job.getConfiguration)的话,需要将dataRDD的RDD类型由RDD[util.LinkedList[(ImmutableBytesWritable, Put)]]转换成RDD[(ImmutableBytesWritable, Put)],想问下如何才能实现呢?

  • 写回答

1条回答 默认 最新

  • 明夜再说 2021-10-28 17:49
    关注

    用flatmap

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 11月13日
  • 已采纳回答 11月5日
  • 创建了问题 10月28日

悬赏问题

  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥15 绘制多分类任务的roc曲线时只画出了一类的roc,其它的auc显示为nan
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
  • ¥15 错误 LNK2001 无法解析的外部符号
  • ¥50 安装pyaudiokits失败
  • ¥15 计组这些题应该咋做呀
  • ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?