duyantong94 2019-10-28 20:06 采纳率: 0%
浏览 2141

Spark Streaming读取kafka数据解析后写入ES,处理效率太低太慢

环境:

  • Kafka 0.10+(不影响)
  • Spark 2.4.0 + Yarn
  • ES 6.5.4

问题:
从Kafka读取获取消息,然后进行简单过滤清晰操作后,将消息写入到ES中,发现处理效率很低,
Kafka有三个partition

maxRatePerPartition=2000
batchInterval=1s
//这种情况下刚刚好,就是处理延迟在1s左右浮动,不会出现任务堆积的情况
//此时处理配置
//num_executor=3
//executor_core=8

然后将读数据的maxRatePerPartition增大到10000乃至20000,发现处理速度始终没有变化
期间将num_executor设置为8,executor_core设置为8,还是没啥用

还增加了设置:

    conf.set("spark.streaming,concurrentJobs","20")
    conf.set("spark.local.wait","100ms")

还是没啥变化,大佬们,到底要咋调啊

  • 写回答

1条回答

  • 关注
    评论

报告相同问题?

悬赏问题

  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办
  • ¥15 kylin启动报错log4j类冲突
  • ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大
  • ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序