财神Childe 2017-10-27 13:41 采纳率: 0%
浏览 800
已结题

sparkstreaming中的job queue问题？

数据量小的时候可以正常运行，数据量大的时候，一个job处于processing其他全处于queue状态，怎么样可以同时processing?

  • 写回答

1条回答 默认 最新

  • devmiao 2017-10-28 13:54
    关注

    http://blog.csdn.net/snail_gesture/article/details/51417769

    评论

报告相同问题？

  • SparkStreaming概述与编程
    2024-08-12 10:10
    源图客的博客 SparkStreaming概述与编程
  • Spark Streaming任务中的容错机制盘点
    2019-09-03 23:20
    死亡之翼归来的博客 spark之checkpoint
  • spark Streaming
    2019-10-25 18:31
    飛翔的大雁的博客 spark Streaming一 .概述1. Spark Streaming原理2. Spark Streaming作业流程3.Spark Streaming 与 Strom3.1 处理性能对比3.2 架构对比3.3 模型对比3.4 异同4. 数据流（离散数据流）4.1 DStream特点5 数据源6 Spark ...
  • SparkStreaming
    2022-05-17 20:36
    爱过java的博客 1. SparkStreaming简介 SparkStreaming是流式处理框架，是Spark API（RDD）的扩展，支持可扩展、高吞吐量、容错的 准实时数据流处理 实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，在...
  • Spark Streaming 简介
    2025-11-23 21:57
    bigdata-rookie的博客 特性DStream (微批次)编程模型基于 RDD 的低级 API基于 DataFrame/Dataset 的高级声明式 APIAPI 级别较低级，需手动处理状态、窗口较高级，内置对事件时间、窗口、水位线的支持性能优化无自动优化利用 Spark SQL 的 ...
  • Spark Streaming
    2021-11-07 21:19
    我不想名字重复的博客 文章目录Spark Streaming(流处理)快速入门概念介绍Discretized Streams (DStreams)InputStream & ReceiversBasic SourcesQueue of RDDs as a Stream(测试)Advance Source KafkaSpark Stream 算子transform(*func...
  • Spark-Streaming
    2025-04-22 11:17
    戈云 1106的博客 用户如果要限制 Receiver 的数据接收速率，可以通过设置静态配制参数“spark.streaming.receiver.maxRate”的值来实现，此举虽然可以通过限制接收速率，来适配当前的处理能力，防止内存溢出，但也会引入其它问题。...
  • Spark Streaming 数据清理机制
    2020-06-04 22:23
    故明所以的博客 我们知道Spark Streaming 计算还是基于Spark Core的，Spark Core 的核心又是RDD。所以Spark Streaming 肯定也要和RDD扯上关系。然而Spark Streaming 并没有直接让用户使用RDD而是自己抽象了一套DStream的概念。 ...
  • spark stream java_Spark Streaming
    2021-03-07 03:37
    weixin_39988476的博客 大纲：Spark Streaming简介Spark Streaming的原理和架构Spark Streaming之基础抽象DStreamDStream相关操作Spark Streaming与flume整合Spark Streaming与kafka整合第一章 Spark Streaming概述1.1 Spark Streaming简介...
  • 大数据最佳实践-sparkstreaming
    2021-04-21 15:42
    猿与禅的博客 目录概述性能调优减少批处理时间数据接收中的并行度容错语义自定义接收器如何在Spark流中实现精确语义与幂等写入恰好一次与事务写入完全一致实现-zookeeper实现-hbase实现方式-mysql 概述 Spark Streaming是核心...
  • 没有解决我的问题, 去提问