duyantong94 2019-10-28 20:06 采纳率: 0%
浏览 2141

Spark Streaming读取kafka数据解析后写入ES,处理效率太低太慢

环境:

  • Kafka 0.10+(不影响)
  • Spark 2.4.0 + Yarn
  • ES 6.5.4

问题:
从Kafka读取获取消息,然后进行简单过滤清晰操作后,将消息写入到ES中,发现处理效率很低,
Kafka有三个partition

maxRatePerPartition=2000
batchInterval=1s
//这种情况下刚刚好,就是处理延迟在1s左右浮动,不会出现任务堆积的情况
//此时处理配置
//num_executor=3
//executor_core=8

然后将读数据的maxRatePerPartition增大到10000乃至20000,发现处理速度始终没有变化
期间将num_executor设置为8,executor_core设置为8,还是没啥用

还增加了设置:

    conf.set("spark.streaming,concurrentJobs","20")
    conf.set("spark.local.wait","100ms")

还是没啥变化,大佬们,到底要咋调啊

  • 写回答

1条回答 默认 最新

  • 关注
    评论

报告相同问题?

悬赏问题

  • ¥15 关于#c语言#的问题:我现在在做一个墨水屏设计,2.9英寸的小屏怎么换4.2英寸大屏
  • ¥15 模糊pid与pid仿真结果几乎一样
  • ¥15 java的GUI的运用
  • ¥15 Web.config连不上数据库
  • ¥15 我想付费需要AKM公司DSP开发资料及相关开发。
  • ¥15 怎么配置广告联盟瀑布流
  • ¥15 Rstudio 保存代码闪退
  • ¥20 win系统的PYQT程序生成的数据如何放入云服务器阿里云window版?
  • ¥50 invest生境质量模块
  • ¥15 nhanes加权logistic回归,svyglm函数