桎梏-xff 2015-06-02 12:24 采纳率: 0%
浏览 2035

spark下运行并行FP-Growth算法当支持度<0.001的时候数组溢出

做微薄的数据挖掘,支持度需要设置比较小,运行的时候支持度大于0.001没有问题,但是小于的时候会出现数组溢出。报错位置为第二行:
val part = res.partition(t1 => tail.exists(t2 => t1._1 == t2))
val p1 = gen(part._1)
if (part._2.length == 0)
return p1
else
return decare(p1,gen(part._2)) ::: p1
}
cur = cur.son.values.head

        def gen(tab : List[(Int , Int)]): List[(List[Int],Int)] = {
if (tab.length == 1) return List((List(tab(0)._1),tab(0)._2))
val sp = tab(0)
val t = gen(tab.drop(1))
(List(sp._1), sp._2) :: t.map(s => (sp._1 :: s._1, s._2 min sp._2)) ::: t

}
源代码网址为

  • 写回答

1条回答 默认 最新

  • devmiao 2015-06-02 12:53
    关注
    评论

报告相同问题?

悬赏问题

  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?
  • ¥15 求daily translation(DT)偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮