chunchetui9702 2017-03-13 12:39 采纳率: 0%
浏览 3250
已结题

一个RDD能不能按其元素分为很多个子RDD?

我的问题是这样的,我想把一个RDD按元素划分为多个RDD,然后把所有子RDD放到一个list里。有什么好方法吗?我知道有randomsplit,但我想以每个元素变成一个RDD。并且RDD是不能嵌套的。
还有就是我想到这样做,但我觉得反复用sc.makeRDD(x)是不行的,但我debug也不报错,就是打印不出来东西,请问sc.makeRDD()可以吗?下面是实现函数,其中rdd1就是父RDD。rdd1.foreach。谢谢大家了~
def splitRDD(rdd1:RDD[List[(String, String)]]):List[RDD[(String,String)]] ={
var list = ListRDD[(String,String)]
//println(rdd1.take(1).apply(0).apply(0)._1)
rdd1.foreach(x =>{
val ss =sc.makeRDD(x)

 }
   //println(x.apply(0)._1)



 ) 
 list

}

  • 写回答

3条回答 默认 最新

  • chunchetui9702 2017-03-13 12:42
    关注

    def splitRDD(rdd1:RDD[List[(String, String)]]):List[RDD[(String,String)]] ={
    var list = ListRDD[(String,String)]
    //println(rdd1.take(1).apply(0).apply(0)._1)
    rdd1.foreach(x =>{
    list = sc.makeRDD(x)::list

     }
       //println(x.apply(0)._1)
    
    
    
     ) 
     list
    

    }
    函数是这样写的

    评论

报告相同问题?

悬赏问题

  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办
  • ¥15 kylin启动报错log4j类冲突
  • ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大
  • ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序
  • ¥15 onvif+openssl,vs2022编译openssl64
  • ¥15 iOS 自定义输入法-第三方输入法
  • ¥15 很想要一个很好的答案或提示
  • ¥15 扫描项目中发现AndroidOS.Agent、Android/SmsThief.LI!tr
  • ¥15 怀疑手机被监控,请问怎么解决和防止