jabari87 2022-03-28 15:54
浏览 13
已结题

spark的关联规则在数据量大且较低支持度时报java.lang.StackOverflowError

同数据量下若调高支持度，就不会报错。但因为支持度太高没有数据。
java.lang.StackOverflowError
at java.lang.Exception.<init>(Exception.java:102)
调高jvm的栈空间，有一定的效果。但不解决根本问题。毕竟实际的数据量和支持度更不合适。
希望不会受jvm的空间影响。接受较长的运行时间。可以考虑时间换空间
  • 写回答

0条回答 默认 最新

    报告相同问题？

    • Spark常见错误问题汇总
      2022-07-05 09:20
      无精疯的博客 一.SparkSQL相关在执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。原因：由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会...
    • rdd数据存内存 数据量_超全spark性能优化总结
      2021-01-14 13:19
      潘相呈的博客 Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。一、常用参数说明--driver-memory 4g : driver内存大小，一般没有广播变量(broadcast)时，...
    • 2024大数据面试题汇总(完善中。。。)
      2024-06-18 16:10
      hitits的博客 自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，...2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
    • 从头捋了一遍Spark性能优化经验，我不信你全会
      2021-05-13 10:23
      CRMEB定制开发的博客 Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。 一、常用参数说明 –driver-memory 4g : driver内存大小，一般没有广播变量(broadcast)时，...
    • Spark常见问题解决-日志和排查办法
      2024-01-25 13:44
      for your wish的博客 memory是设的大，但是--num-executors设置的很少才几十个，可以根据集群情况和业务量大小合理增大executor数，数量判断标准是一个executor的CPU core同一时刻尽量只处理一个HDFS block的数据（如128或256M），在没有...
    • 【Spark】Spark常见错误问题汇总(~持续更新)
      2021-10-09 14:33
      Impl_Sunny的博客 1.在执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。 原因：由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会导致该BUG ...
    • Spark相关常见问题汇总
      2022-07-13 16:56
      脸ル粉嘟嘟的博客 在执行Spark过程中抛出：：该原因是由于hosts未配置，导致不识别：修改相应的机器的host即可在执行Sparksql操作orc类型的表时抛出：：分区或者表下存在空的orc文件。该BUG在Spark2.3.0之后才修复：规避解决。修改ORC...
    • 简单搞定Spark性能优化:常见异常解决（三）
      2021-05-31 14:08
      白枭的博客 （2）使用了参数spark.sql.join.preferSortMergeJoin=false开启了Shuffled Hash Join，该种join会先计算各字段值的哈希值并分发到各partition中，如果两个join的表中的数据量有较大差异，导致各字段值哈希计算后...
    • 超全Spark性能优化总结
      2020-12-29 11:16
      王知无(import_bigdata)的博客 点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！Spark是大数据分析的利器，在...
    • 大数据常见错误解决方案（转载）
      2020-01-17 14:15
      InsistChange的博客 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=“127.0.0.1” ...
    • 没有解决我的问题, 去提问

    问题事件

    • 系统已结题 4月5日
    • 创建了问题 3月28日