最新最热精华悬赏待回答 筛选
  • 2

没找到这个iotdb的spark连接器，有谁找到了这个jar包吗？

想用Spark SQL的方式把Spark与Apache IoTDB连起来，官网截图如下，但还是没找到。

回答 红栈桑
采纳率100%
  • 2

    回答

代码和截图，价格可议

自选主题，Spark SQL编程或Spark StreamingL编程或Structured Streaming 编程，任选其一或综合运行，设计与实现一个Spark应用

  • spark
  • 9
  • 2025-12-03 10:21
回答 2301_81164970
采纳率0%
  • 3

    回答

ubuntukylin配置问题

在ubuntukylin配置过程中 java mysql hadoop hive spark均配置成功 且可正常运行 但启动hive时提示hadoop-evn.sh某行存在未闭合 但是多次配置甚至重新

回答 啥也不会的小白一枚
采纳率0%
  • 3

    回答

ubuntukylin配置hadoop和hive启动失败

java mysql hive hadoop均配置成功 hive和hadoop提示配置错误但可正常启动 但运行spark失败 提示hadoop配置错误

回答 啥也不会的小白一枚
采纳率0%
  • 3

    回答

有没有数据集，推荐数据集！！

找不到数据集啊，数据量十万条以上，字段最少15个。主题随便了，求一个合适的数据集

回答 了了一
采纳率0%
  • 6

    回答

关于#sql#的问题:SQL笔试(数据数仓)

在数仓中，有两张表，t1和t2,字段相同，user_id可能重复，如果t2表中没有，但是t1表中有，说明这条数据是新增数据，例如t1中user_id=4这一条数据。如果t2表中有，但是t1表中没做，则

回答 南屿/
采纳率0%
  • 3

    回答

在集群中提交spark，卡住不动没反应

到这一步卡了很久，一直不动，jPS的各内容也有，怎么解决，网络连通性，spark也有，内存是4g，有两个从节点

  • spark
  • 12
  • 2025-09-24 16:31
回答 2401_83375416
采纳率90.9%
  • 5

    回答

你好，我刚学PySpark，报错了“10038：在一个非套接字上操作”，请问如何解决？

没有配置Hadoop环境，检查了Python.exe路径正确。问了ai不好使。

回答 qwertz0
采纳率0%
  • 5

    回答

刚学PySpark，报错了“10038：在一个非套接字上操作”，如何解决？

没有配置Hadoop环境，检查了Python.exe路径正确，问了ai不好使

回答 qwertz0
采纳率0%
  • 5

    回答

左关联后表内字段为空

a表关联b表后，取b表字段，但是结果为空是什么原因？是因为关联字段有空值导致的吗？

回答 银子x
采纳率0%
  • 5

spark配置gluten任务运行报错

2025-08-25 12:46:14,146 ERROR yarn.Client: Application diagnostics message: User class threw excepti

  • spark
  • 11
  • 2025-08-25 12:50
尘世壹俗人
采纳率81.3%
  • 7

编译spark报错，有人遇到过吗

在编译spark322时，遇到了一个半天没解决的问题，编译环境maven363，java8，scala2.12.15 执行脚本 ./dev/make-distribution.sh --name dx

尘世壹俗人
采纳率81.3%
  • 4

    回答

关于spark数据分区分布的问题

具体问题是：按照HDFS数据分区规则，我认为最后的"/"应该在输出文件中不会出现占据两个字节的换行符 步骤一：创建文件（！！注意这里的第三行没有换行符！！） 步骤二：计算字节 字节数 = 7

回答 沉淀の沙
采纳率0%
  • 4

    回答

celeborn的http端口访问返回404

最近部署了spark的rss，使用celeborn，但奇怪的是，按照官方仓库中的方式打包和部署之后，spark任务能正常用celeborn提供的shuffle服务，但是celeborn服务的http端

回答 尘世壹俗人
采纳率81.3%
  • 4

    回答

DS海豚调度器bug

DolphinScheduler工作流定义页面报错，分页查询工作流定义列表错误，导致工作流定义页面一直加载，历史的工作流定义也消失了，有无解决办法

回答 地球在逃人员
采纳率0%
  • 5

    回答

hadoop EMR集群spark离线任务优化

hadoop EMR集群spark离线任务优化生产两张表dwd_dsp_bid_basic_log_d 表和dwd_dsp_cps_bid_log_d 表，各取7天分区数据，input_size在50

回答 地球在逃人员
采纳率0%
  • 5

    回答

有人能做这个吗，可不可以指导一下，已经搭建好了相关的集群，hadoop,mysql,hive,spark集群，需要用到IDEAR这个软件，在这个软件里面打包，最后结果要按要求得出结果

有人能做这个吗，可不可以指导一下，已经搭建好了相关的集群，hadoop,mysql,hive,spark集群，需要用到IDEAR这个软件，在这个软件里面打包，最后结果要按要求得出结果

  • spark
  • 5
  • 2025-07-06 00:30
回答 2401_83176690
采纳率0%
  • 5

    回答

spark实时处理并传输到mysql数据库时，显示流处理已启动，卡住很久不动然后报错是什么原因

spark实时处理并传输到mysql数据库时，显示流处理已启动，卡住很久不动然后报错是什么原因？我们的流程是爬取股票数据，3s刷新，然后传输到kafka里面，接着spark实时处理并存储到mysql

回答 m0_75066946
采纳率0%
  • 5

    回答

PyCharm里调用map函数的时候报错 感觉应该是hadoop的问题

最近在学pyspark 在使用map算子（如图一）的时候 一直报错꒰>﹏< ꒱ （错误类型如图二）感觉应该是hadoop的问题 但是相关环境变量也有配置 （如三四五） 有没有哪个人可

回答 2301_77093769
采纳率0%
  • 6

    回答

父子层级表，有八个层级想要分层展示当前层级的数据

有个父子层级的记录数据表，一共有八层，想要分层展示数据，有什么办法吗

回答 m0_66090955
采纳率0%
  • 6

    回答

hudi配置出现的问题

在安装配置hudi时输入命令“mvn clean package -DskipTests -Dspark2.4.4 -Dflink1.15 -Dscala-2.12 -Dhadoop.version

回答 OsmElite
采纳率0%
  • 6

    回答

pyspark运行df.show()时报错py4j，但是已经利用conda安装过了py4j

import pyspark.sql as spark_sql from pyspark.sql import SparkSession spark = SparkSession.builder \

回答 Luo_sirsir
采纳率0%
  • 5

    回答

求一个Ubuntu系统的压缩包

这个系统中有配置好的spark，hadoop，Scala，sbt，IDE等环境

回答 壹决King
采纳率0%
  • 5

    回答

关于#mysql#的问题，请各位专家解答！

在spark与mysql的在idea中交互时，报以上错误，我一直解决不了，我的代码附在图一，问题如图二

回答 布洛芬缓释胶囊150
采纳率0%
  • 5

    回答

如何修改scala版本问题

4.0.0 spark.demo spark.demo 1.0-SNAPSHOT 2008 2.12.7 scala-tools.or

  • spark
  • 11
  • 2025-06-02 12:29
回答 2201_75685360
采纳率0%
  • 5

    回答

遇到scala版本问题怎么解决啊

[ERROR] Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:compile (default) on projec

  • spark
  • 9
  • 2025-06-02 10:48
回答 2201_75685360
采纳率0%
  • 4

    回答

在django里连接spark出了问题

连接spark的代码这里为什么单独测试没问题，放在views.py里就报了这个错

回答 swui
采纳率0%
  • 4

    回答

python使用pyspark一直报错，请问谁能帮我解决下这问题？

python使用pyspark运行报错 报错如上图，已经安装了java8，之前连包都导不进去，现在能导pyspark，但就是报错很多，网上搜索还解决不了，请帮忙解决下，谢谢

回答 JW的AI
采纳率0%
  • 3

    回答

spark 接入ecshop

spark 接入ecshop 表头表头表头表头表头单元格单元格单元格单元格单元格单元格单元格单元格单元格单元格单元格单元格单元格单元格单元格

  • spark
  • 5
  • 2025-04-28 14:40
回答 m0_67436449
采纳率20%
  • 4

    回答

在虚拟机终端spark中进行sbt打包时出现如下问题，怎么解决呀😭

在虚拟机终端spark中进行sbt打包时出现如下问题，怎么解决呀😭

回答 2301_77095076
采纳率0%