实现要求如下:
提取A库中T_A的数据进入Hive的a库中表t_a,添加动态分区,分区字段类型为String,且值为T_A表上的ORDERDATE字段的内容。
当分区数量很多 (大约要开启800多个分区) 有什么好的优化方法提升效率吗?
在不减少分区数量的情况下
如何优化hive动态分区写入速度?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- 呔 小怪兽休走 2022-05-23 17:27关注
查询最后加上
distribute by ORDERDATE
sort by ORDERDATEdistribute by按照指定的字段将数据划分到不同的输出reduce中,可以保证每个reduce处理的数据范围不重叠,每个分区内的数据是没有排序的。
sort by保证一个reduce内的数据按照指定字段排序,还可以指定reduce个数:set mapred.reduce.tasks=。本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用
悬赏问题
- ¥30 STM32 INMP441无法读取数据
- ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
- ¥15 用visualstudio2022创建vue项目后无法启动
- ¥15 x趋于0时tanx-sinx极限可以拆开算吗
- ¥500 把面具戴到人脸上,请大家贡献智慧
- ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面,不要作在线的,要离线状态。
- ¥15 各位 帮我看看如何写代码,打出来的图形要和如下图呈现的一样,急
- ¥30 c#打开word开启修订并实时显示批注
- ¥15 如何解决ldsc的这条报错/index error
- ¥15 VS2022+WDK驱动开发环境