HIVE的task并行度怎么配置

Question

这里是指的task并行度，而不是job并行。比如一个mr-job中map根据合并逻辑最后计算是1000个task，这1000个task同一时间可以执行多少个task

Hive中有没有类似spark的设置，比如executor个数，每个e的cpu核数，每个task的cpu核数

Answer 1

在Hive中，可以通过配置参数来控制任务的并行度。下面是一些相关的参数和它们的含义：

hive.exec.parallel.thread.number：这个参数控制并行执行的任务数。默认值是1，表示所有任务默认串行执行。如果设置为大于1的数字，则表示同时可以执行的并行任务数。
hive.exec.task.partition：这个参数用于指定任务分区策略。默认情况下，Hive会根据集群的资源情况自动选择分区策略。如果需要手动设置，可以将这个参数设置为"fixed"或"dynamic"。设置为"fixed"时，可以指定固定的分区数；设置为"dynamic"时，可以根据集群的资源动态调整分区数。
hive.exec.task.result.store.location：这个参数用于指定任务结果存储位置。如果需要将任务结果存储在本地文件系统或分布式文件系统上，可以设置这个参数。
另外，对于MapReduce任务，可以通过配置MapReduce的集群参数来控制任务的并行度。例如，可以配置mapreduce.job.reduces参数来指定Reducer的数量，以及mapreduce.map.cpu.vcores和mapreduce.reduce.cpu.vcores参数来指定每个Map和Reduce任务的CPU核数。这些参数可以在Hive的配置文件中进行设置。

总之，Hive中可以通过配置相关参数来控制任务的并行度，包括设置并行任务数、分区策略和任务结果存储位置等。同时，也可以通过配置MapReduce的集群参数来进一步控制任务的并行度。