我有一个单并行度的flink任务，消费kafka数据保存到kudu中，配置相同的情况下，测试环境启动一个任务有70个线程，而生产环境是300个线程，我想问下这个现象产生的原因，如何降低这些线程使用。测试环境是32c，没有开启超线程，集群有10台机器，生产环境是72 c，开启了超线程，有约40台机器
5条回答 默认 最新
技术宅program 2023-08-15 17:55关注降低flink任务的并行度，满足你的的业务需求和数据量就可以了，或者增加flink集群的slot数量，充分利用硬件资源，
解决 无用评论 打赏举报
分享
- 2021-08-16 16:36404个问号的博客 4、说说 Flink 资源管理中 Task Slot 的概念 在Flink架构角色中我们提到，TaskManager是实际负责执行计算的Worker，TaskManager 是一个 JVM 进程，并会以独立的线程来执行一个task或多个subtask。为了控制一个 ...
- 2020-10-28 17:37okbin1991的博客 ------Flink中级 1、Flink是如何支持批流一体的？ 2、Flink是如何做到高效的数据交换的？ 3、Flink是如何做容错的？ 4、Flink 分布式快照的原理是什么？ 5、Flink是如何保证Exactly-once语义的？ 6、Flink 的...
- 2025-10-02 21:15Golang编程笔记的博客 在大数据领域，实时处理需求日益增长。Flink作为Apache顶级流处理框架，以低延迟、高吞吐和精准一次处理语义著称；而YARN（Yet Another Resource Negotiator）作为Hadoop生态的资源管理核心，负责集群资源的统一分配...
- 2023-05-09 20:18mql007007的博客 Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala...
- 2025-05-11 08:00渣渣盟的博客 文章详细阐述了如何通过Flink WebUI和Metrics定位反压节点，并分析了反压的常见原因，如数据倾斜、用户代码执行效率问题、GC情况以及外部组件交互问题。此外，还介绍了如何利用火焰图和GC日志进行性能瓶颈分析，并...
- 2022-10-06 08:26wespten的博客 一、FLINK实时数仓项目简介 1、普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀...
- 2022-11-03 13:53互联网小阿祥的博客 大数据流试计算引擎Flink篇
- 2025-03-16 22:34闫哥大数据的博客 Flink 针对不同的设置为 RocksDB 提供了一些预定义的选项集合，其中包含了后续提到的一些参数，如果调整预定义选项后还达不到预期，再去调整后面的 block、writebuffer 等参数。当前支持的预定义选项有 DEFAULT、...
- 2025-05-04 18:39AI大数据智能洞察的博客 随着实时数据处理需求的爆发式增长，大数据框架需要在高并发场景下处理海量IO操作。传统同步IO模型在面对高延迟外部系统（如数据库、分布式存储）时，会导致线程阻塞，严重影响吞吐量。Flink的异步IO机制通过异步化...
- 2024-09-07 20:45空指针异常Null_Point_Ex的博客 flink执行过程中，每个算子包含一个或多个子任务，这些子任务在不同的线程、不同的物理机或不同容器中执行。假如一个taskManager有三个slot，就会将管理的内存均分成三份，每个slot独占一份，slot不会去争抢资源。...
- 没有解决我的问题, 去提问
问题事件
已结题
（查看结题原因） 8月17日-
创建了问题
8月15日