qq_35516286 2018-10-30 21:54 采纳率: 100%
浏览 665
已结题

spark pair RDD创建操作

对于一个文件,每一行如下:
ID\t value:value(value的数量不固定)
如何创建RDD使得每一个value对应于一个ID?
希望是python的spark解答

  • 写回答

1条回答 默认 最新

  • xiaomad 2018-10-31 02:12
    关注

    大概思路伪代码:

    val inputRDD=sc.textFile("in.txt")  
    inputRDD.flatMap{a=>
      val list=a.split("\t")
      val id=list(0)
      val values=list(1).split(":")
      values.map{b=>
        (b, id)
      }
    }
    
    评论

报告相同问题?

悬赏问题

  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题:求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算
  • ¥15 java如何提取出pdf里的文字?