[hive] hive on spark hive.exec.reducers.bytes.per.reducer参数值和实际数据量不一样 20C

hive on spark 在运行sql时,想动态控制reduce的数据,就设置了set hive.exec.reducers.bytes.per.reducer = 256000000; 但是发觉reduce变成了1个,实际数据有大概2g左右。
后来把set hive.exec.reducers.bytes.per.reducer = 32000000; 发觉reduce变成了7个
图片说明

切换成 hive on mr时,set hive.exec.reducers.bytes.per.reducer = 256000000又有用了

求助~

另外发现 on mr合并小文件的参数在 on spark中设置的大小都没效果?

sql

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问