2018.11.20 08:02来自 Eumenides-Z 悬赏 5C

Spark中如何将多个LabeledPoint合并成一个LabeledPoint,用以训练分类模型

使用pyspark.mllib,对几个用textFile读取的RDD(a,b,c,d)打标签 ``` A = a.map(lambda features:LabeledPoint(0.0,f...
2

回答

2018.11.19 09:05来自 Eumenides-Z 悬赏 5C

[已解决] 如何将spark读入的txtRDD文本转为Vector格式

在spark上使用textFile读入HDFS中的txt文件,该文件部分如下: ``` 49420 1383788 0.000020 358064278.750527 0 0.000000 48896...
1

回答

2018.07.19 08:38来自 xizhilang077 悬赏 20C

spark分组排序提取前N个值

求教各位大神: 本人用scalas+spark开发,用RDD实现以下需求时遇到困难! 数据: 用户 位置 天数 user1 L1 28 user1 L...
4

回答

2017.12.21 05:55来自 sabiqusi 悬赏 5C

spark RDD中的元组如何按照指定格式保存到HDFS上?

请教一个问题:spark数据清洗的结果为RDD[(String, String)]类型的rdd,在这个RDD中,每一个元素都是一个元组。元组的key值是文件名,value值是文件内容,我现在想把整个RDD保存在HD...
3

回答

2017.10.13 13:28来自 qq_23677453

对spark的图计算模块GraphX中的vertexRDD求并集怎么算,有没

对spark的图计算模块GraphX中的vertexRDD求并集怎么算,有没有直接调用的算子??????????
0

回答