Me丶kang 2020-06-01 11:33 采纳率: 0%
浏览 667

spark读取parquet的分区数量问题,blockSize?分割?

是这样的,hdfs某个parquet目录下共有64个part。采用gz压缩。

然后我用spark.read.parquet去读取。发现有1900+的partition。也就是1900+的task任务启动。
看起来还是读取的parquet.block.size参数。然后一个part下有很多个block。

但是gz压缩不是不可分割么?不应该是64个paritition吗?

块和分割的概念到底是什么呢?

  • 写回答

1条回答 默认 最新

  • zqbnqsdsmd 2020-09-10 14:48
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 本题的答案是不是有问题
  • ¥15 关于#r语言#的问题:(svydesign)为什么在一个大的数据集中抽取了一个小数据集
  • ¥15 C++使用Gunplot
  • ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?
  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 蓝桥杯单片机第十三届第一场,整点继电器吸合,5s后断开出现了问题
  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?
  • ¥15 Arcgis相交分析无法绘制一个或多个图形