代码逻辑就是很简单的wordcount,监听nc端口,输入单词计次数
本地测试逻辑没问题,但是跑在集群输出会重复
集群环境:(kubernetes部署,standalone-application模式)
问题:
多个jobmanager时候,输出也会多次
如: 3个jobmanager,nc输入一次hello,某个taskmanager日志输出:
hello,1
hello,2
hello,3
也就是几个jobmanager就计算了几次,然后输出几次
如果两个jobmanagr的时候就输出两次
并行度全局设置1,每个算子也单独设置1,同样的现象
哪位知道哪里的问题导致这样?