是这样的，hdfs某个parquet目录下共有64个part。采用gz压缩。
然后我用spark.read.parquet去读取。发现有1900+的partition。也就是1900+的task任务启动。
看起来还是读取的parquet.block.size参数。然后一个part下有很多个block。
但是gz压缩不是不可分割么？不应该是64个paritition吗？
块和分割的概念到底是什么呢？
spark读取parquet的分区数量问题，blockSize？分割？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2021-07-30 17:14回答 1 已采纳 可参考：https://blog.csdn.net/zt15732625878/article/details/85245731看客户端的 hive-jdbc的version 和hive Server
- 2022-01-25 09:53回答 1 已采纳 问题已解决：参考这个=====>https://blog.csdn.net/weixin_43753599/article/details/122697542?spm=1001.2014.300
- 2021-01-07 13:17回答 2 已采纳 我发现问题所在了：那一列的下面结尾多出来一行字符串 删掉之后，想用infer_objects()，但发现并没有用，所以最后只能用astype()。 但是如果不连续的超过10列都被影响了，难道要把那
- 2021-06-10 20:05scx_white的博客 读取阶段：spark在读取文件时会根据文件的数量以及文件的大小来切分文件生成task。一般 task 数是大于等于文件数的，如果都是小于128M的文件就是等于文件数。小文件越多，task数越多，单个task处理的数据量就少，...
- 2021-08-22 00:43回答 2 已采纳 从零开始认识 Spark Spark的知识点很多，决定分多P来慢慢讲🤣，比较关键的RDD算子其实已经写了大半，奈何内容还是太多了就不和这篇扯皮的放一起了。 spark是在Hadoop基础上
- 2018-05-31 01:35回答 2 已采纳 先确认下 A表和B表的定义。 show create table A; show create table B; 看下两个表的定义是否完全一致，另外看下 insert 语句是否按照 表的各个字段
- 回答 1 已采纳 metadata就是元数据，用来存放表结构、字段信息之类的，用来描述数据的数据。另外eclipse也有自己的metadata，你要看看是哪个metadata缺失了。
- 2020-12-21 16:14weixin_39710179的博客 关于spark 存储 parquet的搜索结果回答1) 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准 2) 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度...
- 2019-07-05 09:00回答 1 已采纳 The uploaderOptions argument of NewS3FileWriter need to be filled with slice of functions during c
- 2022-03-16 21:49回答 2 已采纳 配置文件的问题吧，首先指定了初始化数据库是hive,你有没有在你的mysql里面创建一个hive的空数据库呢？配置文件里面有没有中文注释如果有的话删除，然后重新初始化
- 2021-12-01 16:09回答 2 已采纳 File does not exist: hdfs://localhost:9000/usr/local/sqoop/lib/parquet-avro-1.4.1.jar 你最后一行不是有提示了么，文
- 2018-11-06 19:23zerone-f的博客 1.SparkSQL下的Parquet数据切分 2.SparkSQL下的Parquet数据压缩 一、SparkSQL下的Parquet数据切分 Table partitioning （表分区）是在像 Hive 这样的系统中使用的常见的优化方法. 在 partitioned table ...
- 2021-03-12 11:51回答 1 已采纳 【简单叙述】你装的是python3.9，我也是原来装的python3.9，在import pandas时，就没有用，都出现你这个问题。 【解决办法】卸载python3.9，装回python3.7，就不
- 2020-07-27 19:16哥伦布112的博客 下文以读取 parquet 文件 / parquet hive table 为例： hive metastore 和 parquet 转化的方式通过 spark.sql.hive.convertMetastoreParquet 控制，默认为 true。 如果设置为 true ，会使用 org.apache.spark.sql....
- 2019-01-14 21:19程序の之道的博客 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 有两个非常“自以为是”烦人的问题急期待大家解决！
- ¥30 STM32 INMP441无法读取数据
- ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
- ¥15 用visualstudio2022创建vue项目后无法启动
- ¥15 x趋于0时tanx-sinx极限可以拆开算吗
- ¥500 把面具戴到人脸上，请大家贡献智慧
- ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面，不要作在线的，要离线状态。
- ¥15 各位 帮我看看如何写代码，打出来的图形要和如下图呈现的一样，急
- ¥30 c#打开word开启修订并实时显示批注
- ¥15 如何解决ldsc的这条报错/index error