sinat_27054329 2022-04-24 10:13 采纳率: 66.7%
浏览 90
已结题

flink多jobmanager运行重复输出问题

代码逻辑就是很简单的wordcount,监听nc端口,输入单词计次数

本地测试逻辑没问题,但是跑在集群输出会重复

集群环境:(kubernetes部署,standalone-application模式)

问题:
多个jobmanager时候,输出也会多次
如: 3个jobmanager,nc输入一次hello,某个taskmanager日志输出:
hello,1
hello,2
hello,3

也就是几个jobmanager就计算了几次,然后输出几次

如果两个jobmanagr的时候就输出两次

并行度全局设置1,每个算子也单独设置1,同样的现象

哪位知道哪里的问题导致这样?

  • 写回答

1条回答 默认 最新

  • Juwell16 2022-04-24 10:24
    关注

    多个节点,同时获取到了数据,几个节点就有几次

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 5月9日
  • 已采纳回答 5月1日
  • 创建了问题 4月24日

悬赏问题

  • ¥15 为什么我运行这个网络会出现以下报错?CRNN神经网络
  • ¥20 steam下载游戏占用内存
  • ¥15 CST保存项目时失败
  • ¥15 树莓派5怎么用camera module 3啊
  • ¥20 java在应用程序里获取不到扬声器设备
  • ¥15 echarts动画效果的问题,请帮我添加一个动画。不要机器人回答。
  • ¥15 Attention is all you need 的代码运行
  • ¥15 一个服务器已经有一个系统了如果用usb再装一个系统,原来的系统会被覆盖掉吗
  • ¥15 使用esm_msa1_t12_100M_UR50S蛋白质语言模型进行零样本预测时,终端显示出了sequence handled的进度条,但是并不出结果就自动终止回到命令提示行了是怎么回事:
  • ¥15 前置放大电路与功率放大电路相连放大倍数出现问题