2 qdarkqforever QDARKQforever 于 2016.03.21 17:16 提问

spark Task Deserialization Time时间越来越长

随着job的运行,在相同数据量的情况下,spark的 task 反序列化时间越来越长,
在24小时后,发现反序列化时间大于excutor的计算时间,甚至达到3,4倍的结果,
请问反序列化到底哪哪些东西?还有如何解决这种现象?

1个回答

zhangdeoo
zhangdeoo   2016.07.31 10:01

我也遇到了同样的问题,并且job的duration也随时间增加,请帮忙回答,非常感谢

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!