2 hardtolose hardtolose 于 2016.03.16 13:35 提问

hive跑到最后卡在一个reduce上过不去

图片说明

不知道什么原因

3个回答

hardtolose
hardtolose   2016.03.16 16:20

估计是数据倾斜问题。。那个reduce上堆了很多数据在跑

Istvan563
Istvan563   2016.06.28 17:43

如果是内存不足挂掉了,有个不是方法的方法
1.增加reduce的缓存
2.调整内存数据吐到硬盘上的比例

qq_34404613
qq_34404613   2016.10.25 14:24

我也出现过这种问题,语句编写的不合理,发生数据倾斜了

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!