使用pyspark.mllib,对几个用textFile读取的RDD(a,b,c,d)打标签
A = a.map(lambda features:LabeledPoint(0.0,features))
B = b.map(lambda features:LabeledPoint(1.0,features))
C = c.map(lambda features: LabeledPoint(2.0,features))
D = d.map(lambda features:LabeledPoint(3.0,features))
现在如何将A,B,C,D四个整合成为一个训练数据集,或保存为LibSVMFile再读取,用来作为机器学习分类模型的训练数据集呢?
网上很多都是临时创建的LabeledPoint(label,Vectors.dense(features)),这样确实可以用一个变量表示。
但对于多个这样的要怎么合成一个变量表示呢,用union会出错。
traindata = A.union(B)
traindata = data.union(C)
traindata = data.union(D)
或者
traindata = A.union([B,C,D])
都会出错,包括《Spark快速大数据分析》书上源码试过,用union都不行。
Traceback (most recent call last):
File "/home/hadoop/Desktop/app.py", line 36, in <module>
data = normalFea.union([icmpFea,synFea,udpFea])
File "/opt/spark-2.3.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/rdd.py", line 557, in union
AttributeError: 'list' object has no attribute '_jrdd_deserializer'
这个报错是针对第二种的,第一种也会报错。求大神解答。。