flink sql读取太多的数据会oom 那要怎么办呢
关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
浏览 108
flink sql如何做一个超大数据的排序
- 写回答
- 好问题 提建议
- 追加酬金
- 关注问题
微信扫一扫点击复制链接分享- 邀请回答
1条回答 默认 最新
- 关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
Maynor学长 2021-07-21 08:23最佳回答 专家已采纳放到kafka缓存 或者切成一个个小文件
采纳该答案 已采纳该答案 专家已采纳评论解决 无用打赏举报微信扫一扫点击复制链接分享评论登录 后可回复...
报告相同问题？
提交
相关推荐 更多相似问题
- 2021-07-20 16:10回答 1 已采纳 放到kafka缓存 或者切成一个个小文件
- 2021-12-03 11:35回答 2 已采纳 找不到方法一般是打包时缺少该jar包，或者jar冲突。jar 冲突时，可以exclude其中一个jar依赖或者重新打包flink-hive-connector 通过 maven 插件重命名guava
- 2022-04-24 14:53回答 2 已采纳 这样好像不行，你可以换一种思路。 写linux脚本，定时提交作业 Linux Crontab 定时任务 麻烦采纳一下，你的采纳，是对我最好的鼓励，谢谢！
- 2022-04-05 16:34数据文的博客 Table API 和 SQL 一、简单使用；二、动态表和持续查询；三、时间属性和窗口；四、聚合查询；五、联结查询；六、自定义函数 UDF ；七、SQL 客户端；八、连接到外部系统。
- 2021-03-03 00:26Apache Flink的博客 摘要：本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的...
- 2022-04-08 17:35电光闪烁的博客 3.FlinkSQL将binlog写入到HDFS中 4.创建增量外部表（binlog表） 5.创建全量历史表 6.创建Spoop任务同步商品表数据 7.历史数据和增量数据合并 8.Java的nanoTime() 9.创建视图完成按分钟级别更新数仓中的业务表 ...
- 2021-07-16 14:22回答 1 已采纳 OutputTag获取迟到数据，二次消费
- 2021-07-13 21:54回答 1 已采纳 看你用的哪个版本，如果1.11.2以上，flink sql还可以
- 2021-04-22 21:42回答 2 已采纳 找到了，是关联的右边的字典表出现了很多重复数据，去重之后再关联就好了。
- 2019-12-19 16:09Apache Flink的博客 下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。 无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的...
- 2022-04-05 08:45脑瓜凉的博客 然后我们再来看table api中提供的over这个类 可以看到这个OverWindow,可以让我们声明完以后直接进行sum,min等的聚合操作 对吧 可以看到这里over这个类...指定是UNBOUNDED_RANCE,无界的流对吧,然后再看,还有一个..
- 2020-07-27 10:24小小酥ε=(´ο｀*)))的博客 Flink SQL 功能介绍SQL Job SupportProcessing Mode :Flink Sources :Flink Sinks :本地调试与提交部署的区别支持的数据格式受支持的Time Attributes(时间属性)WaterMark窗口函数时间单位目前支持的数据类型Field ...
- 2021-11-03 15:10回答 1 已采纳 文档：https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/overvi
- 2021-07-07 12:51回答 1 已采纳 看报错提示：No match found for function signature instr (, )你是不是用了中文下的逗号。
- 2021-08-18 11:07回答 2 已采纳 你的包是不是导错了。删除你导入的包，把下面的包复制放你程序中。 import org.apache.flink.api.common.typeinfo.TypeInformation; import
- 2021-03-04 10:30Apache Flink的博客 对于初学者来说，学习 Flink 可能不是一件容易的事情。看文档是一种学习，更重要的是实践起来。但对于一个初学者来说要把一个 Flink SQL 跑起来还真不容易，要搭各种环境，真心累。很...
- 2022-02-10 16:46一个写湿的程序猿的博客 Flink SQL 篇82、Flink SQL有没有使用过？83、Flink被称作流批一体，从哪个版本开始，真正实现流批一体的？84、Flink SQL 使用哪种解析器？85、Calcite主要功能包含哪些？86、Flink SQL 处理流程说一下？87、Flink ...
- 2020-09-02 17:04长臂人猿的博客 Kafka数据不断的被注入到动态表中，FlinkSQL则会在这张动态表中不断的执行。FLink从0.9版本中支持FLinkSQL,但是目前为止，FlnikSQL和Table没有支持完全的业务场景，有些场景没有调优等。所以需要到官网进行查询是否...
- 2021-08-03 10:23回答 1 已采纳 超过00:00的数据如果不需要，直接放入测流就好。不管是后续使用还是丢掉。或者本身就有时间字段，直接加filter算子过滤不参与flink计算就好。
- 2022-03-28 19:06王知无(import_bigdata)的博客 导读：今天给大家分享京东在实时建模过程中使用Flink SQL的应用案例。主要从问题、难点、方案和规划四个方面来介绍。01问题在维度建模中有很多技术场景，本文挑选其中两个较难的场景来进行详细阐述。问题一 实时多流...
- 没有解决我的问题, 去提问