ranwei0206 2021-09-18 15:35 采纳率: 0%
浏览 40

spark structured stream大窗口计算内存溢出

初学spark,使用spark structred stream进行计算统计,2小时窗口时长,10秒钟触发一次计算,kafka里发送几条测试数据,内存就报OOM了,按理说不应该啊,请问问题是出在哪儿?

我测试window长度(duration)100秒,也是20秒钟(slide duration)触发统计一次,kafka发送一条测试数据,然后得出下面的输出数据:

img

就是说这批数据触发了5次计算,duration/slide duration=5,按照这个逻辑,2小时=7200秒,10秒触发一次,则是计算720次,那内存溢出感觉就解释得通了,不知道我对这个窗口理解是不是有误。

我的理解是每隔20秒触发一次前100秒内的数据的一次统计分析,但是我测试输出的结果跟我预想的感觉不一样。

  • 写回答

2条回答 默认 最新

  • 老紫竹 2021-09-18 16:08
    关注

    你内存配置多少?不会是32M吧

    评论

报告相同问题?

问题事件

  • 修改了问题 9月18日
  • 修改了问题 9月18日
  • 修改了问题 9月18日
  • 创建了问题 9月18日

悬赏问题

  • ¥15 程序不包含适用于入口点的静态Main方法
  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记