spark Task Deserialization Time时间越来越长

随着job的运行，在相同数据量的情况下，spark的 task 反序列化时间越来越长，
在24小时后，发现反序列化时间大于excutor的计算时间，甚至达到3,4倍的结果，
请问反序列化到底哪哪些东西？还有如何解决这种现象？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
zhangdeoo 2016-07-31 02:01
关注
我也遇到了同样的问题，并且job的duration也随时间增加，请帮忙回答，非常感谢

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

将time.Date分配给* time.Time指针以测试JSON反序列化 json
2015-01-16 17:14

回答 2 已采纳 You can't take the address of a function return value because you can only take the address of som
RFC 3339格式以外的json解组时间 json
2014-08-01 20:11

回答 2 已采纳 You will have to implement the json.Marshaler / json.Unmarshaler interfaces on a custom type and u
spring项目中控制台提醒更新配置，该如何解决或更新？ intellij-idea java spring boot
2022-07-09 16:00

回答 1 已采纳单词少打了一个A
spark复习
2018-11-14 10:33

公众号【禅与大数据】，欢迎订阅的博客 Task Deserialization Time: task 反序列化时间 Shuffle Write Time: shuffle 写数据时间 Shuffle Read Time: shuffle 读数据所花费时间从性能指标上看，我们关心的更多的是每个task分配的数据片大小，读写...
c#中创建文件流抛出异常System.NotSupportedException:“不支持给定路径的格式。” c#
2018-10-25 07:19

回答 3 已采纳 1. 冒号 2. 有效路径 e.g. string fileName = DateTime.Now.ToString("yyyyMMddhhmmssfff") + ".txt";
用指针序列化结构
2019-05-28 21:26

回答 2 已采纳 It can be done using the following method: All the objects are placed in maps in a State object.
使用不匹配属性的新类名反序列化类 php
2018-12-21 17:28

回答 2 已采纳 This is a great learning opportunity about why private is overkill. If the properties were merely
大数据高级开发工程师——Spark学习笔记（7）
2022-07-22 08:29

讲文明的喜羊羊拒绝pua的博客文章目录 Spark内存计算框架 Spark SQL SparkSQL架构设计 1. SparkSQL的架构设计实现 2. Catalyst执行过程 SQL 解析阶段 Parser 绑定逻辑计划 Analyzer 逻辑优化阶段 Optimizer 生成可执行的物理计划阶段 Physical ...
关于JDBC的使用连接数据库出了问题 Communications link failure sql 数据库
2017-08-11 13:38

回答 4 已采纳驱动用错了，你用的是mysql的驱动
FlatBuffers的多语言集成问题 c++
2018-11-06 23:06

回答 2 已采纳 Not sure if this the entire problem, but a quick glance at convertStreamMessage shows a major prob
如何在php中反序列化SAML请求 - 无法安装LightSAML laravel php
2018-03-27 04:50

回答 3 已采纳 Sorry I had to add this to composer and update: "repositories": [ { "type": "vcs",
Spark源码——Task执行原理
2021-12-15 21:24

阿松0311的博客 // We need to subtract Task.run()'s deserialization time to avoid double-counting task.metrics.setExecutorRunTime((taskFinish - taskStart) - task.executorDeserializeTime) task.metrics....
Go中接口的自定义JSON序列化和反序列化 json
2017-09-27 18:05

回答 1 已采纳 To avoid writing UnmarshalJSON for the whole Post you can wrap your PostSection in a concrete type
spark 应用程序性能优化：12 个优化方法
2018-09-15 20:50

hellozhxy的博客是的，spark 的确是有一些列强大的内置工具，让你的代码在执行时更快。但是，如果一切都依赖于工具，框架来做的话，我想那只能说明两个问题：1. 你对这个框架仅仅是知其然，而非知其所以然；2. 看来你也只...
一次 Spark SQL 性能提升10倍的经历
2021-01-05 08:30

王知无(import_bigdata)的博客点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！1. 遇到了啥问题是酱紫的，简单...
Spark--一文了解WebUI
2024-01-16 22:32

韩家小志的博客日常工作中经常用到sparkui来排查一些问题，有些东西需要经常搜索，网上的文章有写的很棒的，也有写的一言难尽的，这里参考了其他大佬的文章，自己整体梳理了一下，方便自己使用，也希望能帮助到大家～
spark 应用程序性能优化｜12 个优化方法
2016-10-09 17:06

guohecang的博客本系列是综合了自己在学习spark过程中的理解记录＋对参考文章中的一些理解＋个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的...
【Spark】Spark Web UI - Stages
2022-06-12 16:06

和风与影的博客 Spark Web UI - Stage
手把手带你了解Spark作业“体检报告” --Spark UI
2022-01-12 22:46

小小马里奥ぅ的博客手把手带你了解Spark作业“体检报告” --Spark UISpark UI 一级入口ExecutorsEnvironmentStorageSQLJobsStages总结扩展Spark UI 二级入口SQL 详情页ExchangeSortAggregateJobs 详情页Stages 详情页Stage DAGEvent ...
数仓开发面试题-Spark
2023-10-28 20:41

话数Science的博客 Join实现类型有五种：①广播 Hash、②Shuffle Hash、③Shuffle Sort Merge、④笛卡尔积、⑤广播嵌套循环在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Join hints 策略、Join 表的...
没有解决我的问题, 去提问

悬赏问题

¥15 如何在scanpy上做差异基因和通路富集？
¥20 关于#硬件工程#的问题，请各位专家解答！
¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
¥30 截图中的mathematics程序转换成matlab
¥15 动力学代码报错，维度不匹配
¥15 Power query添加列问题
¥50 Kubernetes&Fission&Eleasticsearch
¥15 報錯：Person is not mapped，如何解決？
¥15 c++头文件不能识别CDialog

spark Task Deserialization Time时间越来越长

1条回答 默认 最新

悬赏问题

1条回答默认最新