ikiler 2022-08-09 15:48 采纳率: 0%
浏览 11

flink如何禁止source并行度大于1

最近写flink遇到个问题,代码逻辑很简单,就是flink从clickhouse读取数据,然后简单转换存入es,但是并行度遇到个问题,我在提交时候指定并行度为12,然后souce端的并行度也成为了12,与后续map等算子直接合并了,就导致source只有一个solt在工作,然后后面的map也只有一个solt,其他的都finish了,如图

img

如果我手动把source并行度设为1,就需要再手动把map设为12,这样确实可以解决问题,如图

img

但是这样就导致并行度写死了,以后资源分配调整都挺费劲的,我想知道为什么会这样,还有其他解决办法吗。

附上clickhouse的souce代码

batchEnv.createInput(JdbcInputFormat.buildJdbcInputFormat()
                .setDBUrl(String.format("jdbc:clickhouse://%s:%s/%s?%s",
                        dbConfigProperties.getHost()
                        , dbConfigProperties.getPort()
                        , dbConfigProperties.getBDName()
                        , "socket_timeout=240000000"))
                .setDrivername(dbConfigProperties.getDriver())
                .setUsername(dbConfigProperties.getUserName())
                .setPassword(dbConfigProperties.getPassword())
                .setQuery(sql)
                .setRowTypeInfo(rowTypeInfo)
                .finish()
        ).setParallelism(1);

```

  • 写回答

2条回答 默认 最新

  • ikiler 2022-08-09 16:08
    关注

    flink批处理,不是流处理

    评论

报告相同问题?

问题事件

  • 创建了问题 8月9日

悬赏问题

  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
  • ¥15 数据可视化Python
  • ¥15 要给毕业设计添加扫码登录的功能!!有偿
  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗?
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题:求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘