spark structured streaming运行一段时间卡死

spark版本：2.4.0

提交脚本：spark2-submit --master local[3] --driver-memory 2g --executor-memory 1g --conf spark.dynamicAllocation.enabled=false --class com.xxx.xxx.SparkBoot governance.jar

运行一段时间就会卡死，日志没有报错，某个stage一直在执行，但点进去显示没有tasks

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
「已注销」 2022-01-15 15:18
关注
运行卡死，是卡死还是运行结束了

本回答被专家选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

spark structured steaming与kafka集成offset管理方式 kafka spark
2023-01-31 14:43

回答 2 已采纳 Spark Structured Streaming 集成 Kafka 的 offset 管理方式有如下几种：利用 Spark checkpoint 文件提交 offset 给 Kafka常用的方案
Java编写flatMap参数问题 java spark
2022-07-05 21:33

回答 2 已采纳看着像是强制类型转换。去掉的话，错误信息是不是与类型有关
spark和hadoop hadoop spark 大数据
2022-12-23 16:57

回答 2 已采纳集群还在启动吧，还是在安全模式，无法创建文件夹，稍等一会儿集群完全启动成功后就可以了。
Spark Structured Streaming
2021-01-07 06:11

简单来说Spark Structured Streaming提供了流数据的快速、可靠、容错、端对端的精确一次处理语义，它是建立在SparkSQL基础之上的一个流数据处理引擎；我们依然可以使用Spark SQL的Dataset/DataFrame API操作处理流...
java搭建hibernate框架报错 hibernate java
2023-01-23 18:00

回答 3 已采纳首先，确认数据库正确连接:检查数据库能连接上吗，用数据库连接工具能打开看到数据库表吗。其次，你用的jdk版本是多少， JDK 8 中有关反射相关的功能自从 JDK 9 开始就已经被限制了，为了兼容原先
如何构建一段时间内发生的进程的测试？ php
2016-01-15 08:29

回答 1 已采纳 Based on implementation of your event mechanics. Like, when some event listener somewhere in your
将表条目移动到另一个表 php
2017-12-10 16:40

回答 1 已采纳 Have you considered a different approach? If the two tables have the exact same structure, then al
Spark视频第4课_深度解析Spark Structured Streaming
2018-12-25 14:12

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识...
PHP无法从其中一个mysql表中选择任何内容 mysql php
2018-08-31 09:20

回答 1 已采纳 I have resolved the problem. It wasn't related to any of this. It was a character that was encoded
CPanel SQL：需要远程访问，CPanel或WHM中没有授予权限 database java php
2016-03-06 12:31

回答 1 已采纳 Personally, I would not open your database to the internet. It's a security risk and also most hos
使用JQuery打开一个新的php页面 javascript jquery mysql php
2015-03-13 09:12

回答 3 已采纳 You should either use window.location or window.open: $('#Databases').change(function (e) {
一篇文章认识spark streaming和structured streaming
2023-05-04 20:11

也许我该长大了的博客 spark streaming, structured steaming, watermark
在PHP中，fgetcsv将文件转换为一个数组 php
2016-01-27 19:33

回答 1 已采纳 From the PHP Docs: Note: If PHP is not properly recognizing the line endings when reading file
Spark中的Structured Streaming
2022-07-26 14:28

程序员阿伟的博客 streaming(spark1.6引入使用批处理模拟流式计算)DStream(离散流)structuredstreaming(结构化流spark2.0引入)StructuredStreaming基于SparkSQl引擎,是一个具有弹性和容错的流式处理引擎.使用StructureStreaming处理...
java8stream源码-sparkstructuredstreaming:火花结构化流媒体
2021-06-04 17:20

java8流源码评估项目概述： A web conference is the live exchange and mass articulation of information among several persons and machines remote from one another but linked by a web communications ...
没有解决我的问题, 去提问