2 nuannuanloveai nuannuanloveai 于 2015.06.02 20:24 提问

spark下运行并行FP-Growth算法当支持度<0.001的时候数组溢出

做微薄的数据挖掘,支持度需要设置比较小,运行的时候支持度大于0.001没有问题,但是小于的时候会出现数组溢出。报错位置为第二行:
val part = res.partition(t1 => tail.exists(t2 => t1._1 == t2))
val p1 = gen(part._1)
if (part._2.length == 0)
return p1
else
return decare(p1,gen(part._2)) ::: p1
}
cur = cur.son.values.head

        def gen(tab : List[(Int , Int)]): List[(List[Int],Int)] = {
if (tab.length == 1) return List((List(tab(0)._1),tab(0)._2))
val sp = tab(0)
val t = gen(tab.drop(1))
(List(sp._1), sp._2) :: t.map(s => (sp._1 :: s._1, s._2 min sp._2)) ::: t

}
源代码网址为

1个回答

devmiao
devmiao   Ds   Rxr 2015.06.02 20:53
nuannuanloveai
nuannuanloveai 是这样的,我看的就是这个的,但是我把里面的suppor-percent=0.85,设成了一个变量,作为输入参数输入的,这样的话,当我用支持度为0.001时,就会数组益处了
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!