现在做的数仓,想转实时这一块儿,正在学习,生产中两个流join时,怎么解决数据延迟呢,如果数据超出水位线怎么办。
1条回答 默认 最新
报告相同问题?
提交
相关推荐 更多相似问题
- 2021-07-16 14:22回答 1 已采纳 OutputTag获取迟到数据,二次消费
- 2021-07-20 16:10回答 1 已采纳 放到kafka缓存 或者切成一个个小文件
- 2022-01-28 09:47回答 1 已采纳 那最后写入到库了吗,如果写不进去,上游kafka肯定会延迟越来越大的,可以在sink里多打印下错误,或者设置写入超时时间,问题应该在写入
- 2021-10-26 19:00大象灵感的博客 实时大数据Flink知识结构图 ·Flink基本概念 o概念 官方定义:Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink ...
- 2022-04-02 17:26菜鸟蜀黍的博客 Flink 对各个系统的数据接入能力、维度打宽能力、入仓/入湖能力都已经非常完善了。在 CDC 流式读取上,Flink 已经支持了主流的数据库和 Kafka 消息队列。...从这个能力矩阵可以看出,Flink 的数据集成能力是非常全面的
- 2022-02-21 16:05中国好胖子、的博客 在之前的Join算子中,一般使用的是coGroup算子,...因为coGroup只能实现在同一个窗口的两个数据流之间进行join,在实际的计算过程中,往往会遇到当req发生时,resp迟迟无法响应,这个时候,就会出现一个跨窗口的问题。
- 2021-08-18 11:07回答 2 已采纳 你的包是不是导错了。删除你导入的包,把下面的包复制放你程序中。 import org.apache.flink.api.common.typeinfo.TypeInformation; import
- 2022-01-11 10:12回答 2 已采纳 这是空指针异常,发生在读取数据那里,仔细检查一下数据是否有问题,估计是数据格式出现了问题或者路径输出了问题导致没有读取到自己想要的数据,无法被获取到,所以报了空异常
- 2021-08-03 10:23回答 1 已采纳 超过00:00的数据如果不需要,直接放入测流就好。不管是后续使用还是丢掉。或者本身就有时间字段,直接加filter算子过滤不参与flink计算就好。
- 2022-02-14 22:21朕去幼儿园深造的博客 文章目录Flink 是什么为什么选择 Flink二、传统数据处理架构1.事务处理2. 分析处理流处理的演变1.有状态的流式处理2.lambda 架构3. FlinkFlink 的主要特点1.事件驱动(Event-driven)2.基于流的世界观3.分层APIFlink...
- 2018-09-13 16:28while true的博客 现在最新版本的flink1.6版本现在还不支持直接用SQL来实现流与维表的join。这里打个广告我们团队已经实现了这个功能并且开源 https://github.com/DTStack/flinkStreamSQL 这里先解释下什么是维表;维表是动态表,...
- 2022-01-18 15:51LonyTang的博客 flink 实时流计算 概要 概要简介
- 2022-04-24 10:13回答 1 已采纳 多个节点,同时获取到了数据,几个节点就有几次
- 2021-12-15 18:57回答 1 已采纳 异常描述的很清楚,文件不存在或者flink没有读取权限
- 2021-07-02 11:07回答 2 已采纳 对kafka来说,只要这条数据发出去了,就算消费了,你消费者怎么处理,和kafka无关了。对消费者来说, 你只需要消费下一条就行了。至于偏移量, 你第一次消费的时候,是要发送偏移的,这个你消费者要本地
- 2022-01-08 15:17大数据老司机的博客 Flink核心是一个流式的数据流执行引擎,并且能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布,数据通信及容错机制等功能。基于流执行引擎,Flink提供了跟...
- 2022-04-07 07:56pucheung的博客 这一期的面试题主要是介绍 Flink 面试中的高频面试题,Flink 流 Join 相关内容,相信大家在面试中遇到的太多了,本节包含的主要内容如下:⭐ Join 的应用场景⭐ 为什么流式计算中提到 Join 小伙伴萌就怕呢?...
- 2022-04-01 15:17落花雨时的博客 本章我们就来讨论 Flink 中对多条流进行转换的操作。 简单划分的话,多流转换可以分为“分流”和“合流”两大类。目前分流的操作一般是通过侧输出流(side output)来实现,而合流的算子比较丰富,根据不同的...
- 2022-04-04 22:57回答 2 已采纳 本地执行需要去掉,依赖范围provided,可以查看我的微博,flink专栏
- 2021-06-08 17:53Rango_lhl的博客 在Flink中可以使用Window join或者Interval Join实现双流join,不过使用join只能实现内连接,如果要实现左右连接或者外连接,则可以通过connect算子来实现。现有订单数据及支付数据如下方说明,基于数据时间实现订单...
- 没有解决我的问题, 去提问