我想把以下虚拟机的sparksql查询结果导到HDFS
应该怎么做呢？
怎么将sparksql的查询结果导到HDFS
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
SSS4362 2023-01-20 20:16关注希望下面这篇文章可以给你带来帮助
https://blog.csdn.net/u012970976/article/details/107112075/解决 无用评论 打赏举报 分享
- 2023-02-13 09:15回答 2 已采纳 df.repartition(1).write.format("csv").save("output")
- 2022-10-04 19:13回答 1 已采纳 不是没有反应，而是目录下没有文件，所以ls后没有内容可以显示，可以试试ls /
- 2021-08-02 14:12回答 1 已采纳 有了有了，谢谢大家，是我自己疏忽了。导入HDFS本地文件系统也是需要加local的，我以为本地文件系统是计算机文件系统正确代码:insert overwrite local directory。一定要
- 2022-10-21 09:56尚硅谷铁粉的博客 Spark SQL这一步的并行度和task数量肯定是没有办法去改变了，但是，对于Spark SQL查询出来的RDD，立即使用repartition算子，去重新进行分区，这样可以重新分区为多个partition，从repartition之后的RDD操作，由于...
- 2022-11-03 17:15回答 2 已采纳 hadoop distcp webhdfs://源集群:50070/源目录 webhdfs://目标集群:50070/目标目录
- 2022-09-24 18:25回答 2 已采纳 input目录里是不是没有文件呢？ cp $HADOOP_HOME/etc/hadoop/*.xml ./input
- 2023-01-05 14:13回答 9 已采纳 String fileName = "xxx"; response.reset(); response.setContentType("application/x-msdownload
- 2018-10-17 11:52回答 2 已采纳 https://issues.apache.org/jira/browse/HADOOP-14586 是不是用了java9版本，java版本降低一下试试
- 2022-08-15 11:47回答 6 已采纳 信息不足不是很好判断，找了下源码，报错的方法如下： /** Read the block length from one of the datanodes. */ private long rea
- 2023-01-18 04:55回答 2 已采纳 您好，我看了这个LOG数据，如果使用切分字符串的方法，2000行里最长的共有111个字段。最关键的是会有数字类型和文本类型组合成文本类型，而这部分是字符串切割无法区分的。所以正则还是香呀，一步到位 i
- 2023-12-13 22:39- Catalyst Optimizer：Spark SQL的查询优化器通过应用关系代数的等价变换，优化查询计划，如将过滤操作下推到JOIN之前，减少不必要的数据处理，提高执行效率。 4. SparkSession：在Spark 2.x版本中，SparkSession...
- 2021-12-15 20:24回答 1 已采纳 为啥集群小文件治理那么重要，你真的懂吗？_涤生手记大数据-CSDN博客 小文件是 Hadoop 的常见挑战，如果不小心处理，它们可能会导致
- 2021-02-20 12:50尘世壹俗人的博客 第一种方式SparkCore val conf = new SparkConf().setAppName(“File”).setMaster(...val data = sc.textFile(“hdfs://IP地址:9000/文件路径”)//读取，读取时单一文件或路径都可以 data.saveAsTextFile(“hdfs:
- 2021-04-03 12:13Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL-like查询接口，方便用户对大数据进行分析。HiveQL是Hive的查询语言，类似于SQL，但专为大数据处理设计。在企业级框架中...
- 没有解决我的问题, 去提问
问题事件
创建了问题
1月20日
悬赏问题
- ¥100 照片生成3D人脸视频
- ¥15 伪装视频时长问题修改MP4的时长问题，
- ¥15 JETSON NANO
- ¥15 VS开发qt时如何在paintgl函数中用pushbutton控制切换纹理
- ¥20 关于 openpyxl 处理excel文件地问题
- ¥15 MS中不知道高分子的构型怎么构建模型
- ¥60 QQOP数据，什么是op数据号，怎么提取op数据！能不能大量提取(语言-c语言)
- ¥15 matlab代码 关于微分方程和嵌套的分段函数。
- ¥15 onlyoffice编辑完后立即下载，下载的不是最新编辑的文档
- ¥15 求caverdock使用教程