2 hardtolose hardtolose 于 2016.03.16 13:35 提问

hive跑到最后卡在一个reduce上过不去

图片说明

不知道什么原因

3个回答

hardtolose
hardtolose   2016.03.16 16:20

估计是数据倾斜问题。。那个reduce上堆了很多数据在跑

Istvan563
Istvan563   2016.06.28 17:43

如果是内存不足挂掉了,有个不是方法的方法
1.增加reduce的缓存
2.调整内存数据吐到硬盘上的比例

qq_34404613
qq_34404613   2016.10.25 14:24

我也出现过这种问题,语句编写的不合理,发生数据倾斜了

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Reduce运行到99.99%到100%,最后出现了错误,导致任务失败
Error: java.io.IOException: Failing write. Tried pipeline recovery 5 times without success.  at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DFSOutputStream.java:1113)  a
hadoop 异常 reduce长时间卡住停滞不前的问题
起因:   datanode的磁盘挂掉了2个   昨天的任务跑完了之后,检查了下dfsadmin -report  监测到集群之中有个节点的 Configured Capacity 比其它的节点少了差不多2个磁盘的容量; 然后去检查了下这个节点 发现确实有2个磁盘出了问题。 于是。重启 换磁盘 ,重新启动了节点。 然后在此节点上 执行了balancer   问题出现了:
reduce里的一个坑
hadoop版本1.2.1 reduce方法里的关键内容如下: protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException { int sum = 1; //使用while来进行遍历,reduce进行一直卡在66%就顿住
hive任务卡在个别reduce的问题分析
最近微博有一个任务需要使用日曝光表做统计,发现这个任务很容易在stage1卡在reduce100%阶段不动,发邮件过来让帮找一下问题或者优化一下,和同事一起分析了一下原因,以下是分析过程:
hadoop 程序在运行时 reduce过程卡在某个进度不动的问题
今天写好hadoop 程序之后,进行线上测试,驶入数据为一个hive表的文件,location到了一个hdfs目录下,然后跑hadoop的过程中,map阶段没有出现问题,但是每次到了reduce阶段,进度都卡在33%不动了,刚开始以为是集群问题,后来重新启动了几次任务,都是这种情况。 可能的情况1: 后来在stackoverflow上找到了答案,这是hadoop上数据倾斜造成的问题(我的hiv
HiveOptimization--Reduce进程缓慢问题
最近对线上一个执行频率为半小时的任务进行优化,需要在每半个小时的前二十分钟内完成,但是因为前置大概需要执行7/8/9min,所以该job必须在10min内执行完成。      目前发现需要进行优化的较多出现在出现join、distinct的情况下,而且一般都是reduce过程较慢。      Reduce过程比较慢的现象又可以分为两类: 情形一:map已经达到100%,而reduce阶段一直
关于MapReduce,Map能完全执行,Reduce执行到一半卡住不执行
卡住了几个小时,死活停滞不前,发现后根据提示开始排错,进入50030,进入作业发现 这说明作业在map之完后的shuffle阶段中,reduce无法从map处拷贝数据,是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常,然后开始各种检查:所有节点hosts中写的完全相通,不是节点名称不同或者节点没有完全加上造成的,排除;找到slaves发现写的也完
hive进行mapreduce卡壳解决方法
hive进行mapreduce卡壳解决方法
map 0% reduce 0% 然后卡死的解决方案
在运行几次mapreduce任务后,再启动一次会出现系统卡死的情况。。。百度到的几种方法都木有用。。。偶然发现ubuntu下有个system monitor,打开发现内存占用率很高,swap分区差不多快用光了,再运行一次map任务,当swap用光后电脑就死机了。。。重启,将swap分区从380M扩容到8G。。。妈妈再也不用担心我运行mapreduce死机了。BTW,昨晚顺便买了条4g内存。。。
MapReduce map100% Reduce 66% 卡死
如果你碰到map100%,reduce 66% 然后程序就貌似停止在这里了,可能是由于在Reduce类里使用了String造成的 根据一位外国友人的说明,在reduce阶段 ,0-33%阶段是 shuffle 阶段,就是根据键值 来讲本条记录发送到指定的reduce,这个阶段应该是在map还没有完全完成的时候就已经开始了,因为我们会看到map在执行到一个百分比后reduce也启动了,这样