2 qdarkqforever QDARKQforever 于 2016.03.21 17:16 提问

spark Task Deserialization Time时间越来越长

随着job的运行,在相同数据量的情况下,spark的 task 反序列化时间越来越长,
在24小时后,发现反序列化时间大于excutor的计算时间,甚至达到3,4倍的结果,
请问反序列化到底哪哪些东西?还有如何解决这种现象?

1个回答

zhangdeoo
zhangdeoo   2016.07.31 10:01

我也遇到了同样的问题,并且job的duration也随时间增加,请帮忙回答,非常感谢

Csdn user default icon
上传中...
上传图片
插入图片