a.Hive:多表关联:
> 主表与从表1:inner join
> 其余从表:left join
> count(1):最大的表条数:1726276,最小的:38条
> 执行该hive作业后,大概10分钟后就会fail,具体报错日志:
FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded
b.解决方法:
> 通过日志可定位到是主表与从表1:inner join的时候fail掉了,有尝试过将从表1以及相关的涉及到的字段注释掉,结果是正常运行得;
> 从表1与主表仍为:inner join的关系:尝试过将select后的字段全部注释掉,只:count(1),正常执行,结果显示的条数与主表接近;
> 最后将主表与从表1的关联关系:修改:left join,发现就可以正常执行了,select后面跟的字段,也就可以正常显示出来了