sinat_27054329 2022-04-24 10:13 采纳率: 66.7%
浏览 84
已结题

flink多jobmanager运行重复输出问题

代码逻辑就是很简单的wordcount,监听nc端口,输入单词计次数

本地测试逻辑没问题,但是跑在集群输出会重复

集群环境:(kubernetes部署,standalone-application模式)

问题:
多个jobmanager时候,输出也会多次
如: 3个jobmanager,nc输入一次hello,某个taskmanager日志输出:
hello,1
hello,2
hello,3

也就是几个jobmanager就计算了几次,然后输出几次

如果两个jobmanagr的时候就输出两次

并行度全局设置1,每个算子也单独设置1,同样的现象

哪位知道哪里的问题导致这样?

  • 写回答

1条回答 默认 最新

  • Juwell16 2022-04-24 10:24
    关注

    多个节点,同时获取到了数据,几个节点就有几次

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

    报告相同问题?

    问题事件

    • 系统已结题 5月9日
    • 已采纳回答 5月1日
    • 创建了问题 4月24日

    悬赏问题

    • ¥30 c++类和数组实验代码
    • ¥20 C语言字符串不区分大小写字典排序相关问题
    • ¥15 关于#python#的问题:我希望通过逆向技术爬取1688搜索页下滑加载的数据
    • ¥15 关于Linux的终端里,模拟实现一个带口令保护的屏保程序遇到的输入输出的问题!(语言-c语言)
    • ¥15 请问,这个嵌入式Linux系统怎么分析,crc检验区域在哪
    • ¥15 二分类改为多分类问题
    • ¥15 Unity微信小游戏上调用ReadPixels()方法报错
    • ¥15 如何通过求后验分布求得样本中属于两种物种其中一种的概率?
    • ¥15 q从常量变成sin函数,怎么改写python代码?
    • ¥15 图论编程问题,有可以指导的吗