flink批处理，在读取数据库数据时出现内存溢出的情况，如何实现分批次读取处理
flink批处理，在读取数据库数据时出现内存溢出的情况，如何实现分批次读取处理
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-07-13 20:33回答 3 已采纳 restclient异常，先看看taskmanager和jobmanager是否正常，然后你可以在jobmanager的节点上访问webUI查看job状态，又或者直接查看宿主机上的日志排查问题
- 2022-05-27 11:19回答 1 已采纳 当10:14:51的数据来之前，流中最大的事件时间 >= 10:24:50(窗口结束时间) + watermark延迟时间 + 允许延迟时间 ，导致当前waterMark 的值更新为 这个最大的
- 2022-11-11 14:34回答 1 已采纳 我觉得你可能日志定位错了，看逻辑应该只有去重算子有状态会造成CK超时状态过大崩溃重启，重启之后逻辑就类似你这个日志
- 2021-10-11 11:43万事无Bug的博客 前提要在数据库中创建好对应的表和字段哦 依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> &l
- 2022-10-12 21:51回答 1 已采纳 解决了，没有开启checkpoint导致，加上下面代码即可env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);env.getCh
- 2022-01-28 09:47回答 1 已采纳 那最后写入到库了吗，如果写不进去，上游kafka肯定会延迟越来越大的，可以在sink里多打印下错误，或者设置写入超时时间，问题应该在写入
- 2021-12-15 18:57回答 1 已采纳 异常描述的很清楚，文件不存在或者flink没有读取权限
- 2023-05-09 20:18mql007007的博客 Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala...
- 2022-02-09 15:08回答 2 已采纳 在这里：https://github.com/apache/flink/tree/69d9fade5b0e3629c84548c06f0624e9e66fdefe/flink-connectors/f
- 2021-08-18 11:07回答 2 已采纳 你的包是不是导错了。删除你导入的包，把下面的包复制放你程序中。 import org.apache.flink.api.common.typeinfo.TypeInformation; import
- 2022-04-24 14:53回答 2 已采纳 这样好像不行，你可以换一种思路。 写linux脚本，定时提交作业 Linux Crontab 定时任务 麻烦采纳一下，你的采纳，是对我最好的鼓励，谢谢！
- 2023-03-05 22:00Java精选的博客 但有些情况不需要分页的方式查询数据或分很大一页查询数据时，如果一下子将数据全部加载出来到内存中，很可能会发生OOM(内存溢出)；而且查询会很慢，因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想...
- 2021-07-16 14:22回答 1 已采纳 OutputTag获取迟到数据，二次消费
- 2021-10-26 19:00大象灵感的博客 实时大数据Flink知识结构图 ·Flink基本概念 o概念 官方定义：Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink ...
- 2024-02-27 23:56Stupid阳光的博客 flink常考知识点汇总
- 没有解决我的问题, 去提问
问题事件
系统已结题
11月24日
创建了问题
11月16日
悬赏问题
- ¥15 ETLCloud 处理json多层级问题
- ¥15 matlab中使用gurobi时报错
- ¥15 这个主板怎么能扩出一两个sata口
- ¥15 不是，这到底错哪儿了😭
- ¥15 2020长安杯与连接网探
- ¥15 关于#matlab#的问题：在模糊控制器中选出线路信息，在simulink中根据线路信息生成速度时间目标曲线（初速度为20m/s，15秒后减为0的速度时间图像）我想问线路信息是什么
- ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
- ¥15 可见光定位matlab仿真
- ¥15 arduino 四自由度机械臂
- ¥15 wordpress 产品图片 GIF 没法显示