最新最热精华悬赏待回答 筛选
  • 1

    回答

关于子查询嵌套聚合函数改写临时表

SELECT * FROM ( SELECT * FROM CV WHERE EEFDATE < CURRENT_DATE AND ARR = 'A

回答 马喽的命也是命啊
采纳率0%
  • 1

    回答

亚马逊云Record larger than the Split size: 67108864问题

Py4JJavaError: An error occurred while calling o99.toDF.: org.apache.spark.SparkException: Job abort

回答 码客_dj
采纳率0%
  • 2

关于#Spark# #Flink#的问题，如何解决？

Spark 与 Flink 现在使用哪个更多？目前在大数据处理领域，Spark 和 Flink 哪个的使用频率更高？它们各自的优势和劣势是什么？

回答 武子康
采纳率66.7%
  • 1

    回答

scalac: error while loading

Error:scalac: error while loading JsonInclude$Include, class file 'C:\JavaEE\repository\com\fasterxm

回答 錦Zzz
采纳率0%
  • 1

    回答

spark history服务无法使用显示空白

为什么我的history服务能启动，也能打开web页面，但是提交任务就是不会记录，已经困扰好几天了

回答 static_ice bear
采纳率0%
  • 1

    回答

exception: java gateway process exited before sending the driver its port number

pyspark安装完成后，在pycharm中运行代码，报错exception: java gateway process exited before sending the driver its po

回答 m0_74411967
采纳率0%
  • 1

    回答

cmd输入spark-shell显示‘cmd’不是内部或外部命令，也不是可运行的程序或批处理文件。怎么解决。

cmd输入spark-shell显示‘cmd’不是内部或外部命令，也不是可运行的程序或批处理文件。输入pyspark也是一样的结果。这个是什么原因，要怎么解决？这是我的环境变量配置：用户变量：path

回答 m0_74411967
采纳率0%
  • 1

    回答

Standalone 分布式集群搭建，四个工作节点存活

做完Standalone 分布式集群搭建后点击评测，显示的是 Alive Workers: 4，而不是Alive Workers: 3，为什么会多了一个呢（问号）还求网友们解答，多谢各位（感叹号×4

  • spark
  • 3
  • 2024-09-10 18:29
回答 ic_QAQ
采纳率0%
  • 1

这个Python数学表达式怎么转换

第三题转换呀，这个数学函数怎么表示呀，为啥运行不出来，第三题转换呀，这个数学函数怎么表示呀，为啥运行不出来，

m0_67885810
采纳率100%
  • 1

    回答

从节点spark启动

怎么让从节点spark在执行start-all.sh时只启动worker节点不启动master节点

回答 2301_78773234
采纳率44.7%
  • 1

    回答

spark完全分布式搭建

spark完全分布式搭建完成后主节点master进程是对的有master进程，但是从节点slaves2有master和worker两个进程是什么原因

回答 2301_78773234
采纳率44.7%
  • 2

pyspark on yarn无解释器访问权限Permission denied

pyspark on yarn运行底层rdd时报出：WARN scheduler.TaskSetManager: Lost task 0.2 in stage 0.0 (TID 2, node02,

小蓝的程序猿生活
采纳率66.7%
  • 1

    回答

现在想获取一个手机号对应一个产品名的最新日期的一条记录(标签-sql)

如上图，现在想获取一个手机号对应一个产品名的最新日期的一条记录，这个sql怎么写？主要目的给数据进行去重，保留单个手机号对应的两个产品名的最新日期记录。或者用spark代码写也可以

回答 needhelp2
采纳率14.3%
  • 1

    回答

如何将一三两行数据中电话号码相同的数据(标签-spark)

spark中，如何将一三两行数据中电话号码相同的数据，合并为一行数据

回答 needhelp2
采纳率14.3%
  • 1

‘telnum',’是否有钱'，现在要求每个列的对应手机号数量(标签-spark|关键词-for)

spark中，有一个df，其中列名为，‘telnum',’是否有钱'，'是否有房'，'是否有车'，'是否有病'，'是否有粮'，现在要求每个列的对应手机号数量，代码如下，执行遇到问题，如何修改。name

needhelp2
采纳率14.3%
  • 2

    回答

pycharm pyspark

在pycharm上使用pyspark显示错误:24/08/02 10:17:33 ERROR SparkContext: Error initializing SparkContext.org.apa

回答 jsslllmmm
采纳率50%
  • 20

    回答

hive on spark

hive on spark 执行时报错 hive (default)> create table student(id int, name string); OK Time tak

lsy525673737
采纳率0%
  • 2

    回答

如何利用Spark代码，在df的字段列中，根据不同年龄的客户分布，进行合理的年龄区间划分

如何利用Spark代码，在df的字段列中，如age列（1-100），有一万条客户数据，根据不同年龄的客户分布，进行合理的年龄区间划分？

回答 needhelp2
采纳率14.3%
  • 4

    回答

如何在分析云环境下，利用Spark代码，获取2020-2024年之间的负债额总量

如上图，如何在分析云环境下，利用Spark代码，获取2020-2024年之间的负债额总量？

回答 needhelp2
采纳率14.3%
  • 4

问如何使用spark代码来提取资产额和负债额中的数字，并进行计算得到负债率

如上图，现在在分析云下可知该Df中资产额和负债额的字段信息，现在需要获取负债率；其中资产额和负债额是字符串类型，问如何使用spark代码来提取资产额和负债额中的数字，并进行计算得到负债率；负债率公式：

needhelp2
采纳率14.3%
  • 4

    回答

将满足以上五个条件中至少三个条件的客户名单划分为头部客户，至少满足两个条件的划分为腰部客户，问如何利用spark代码实现

分析云环境下，如何利用Spark代码书写：df中五个条件至少满足三个？例：现需要根据客户名单表查找满足以下五个条件中的至少三个条件：条件1.年龄大于18岁，条件2.是企业级，条件3.流动资金大于100

回答 needhelp2
采纳率14.3%
  • 27

    回答

用spark连接sql数据库

各位程序猿们，连接spark的时候这个样怎么解决 ？设置的连接端口就是10001

  • ¥15
  • spark
  • 15
  • 2024-07-11 13:37
xcfxcf2003
采纳率0%
  • 2

SPARK SQL查找问题

SPARK SQL查找问题。比如目前A表的班组信息是我手工填写的，比如A组班组信息没有，需要从B表里面查找，关键字是姓名和统计日期，注：同一个人在不同的日期，班组是不一样的。比如第一个a表姓名：张三，

m0_67122663
采纳率80%
  • 2

关于'Spark性能调优'的问题

如何通过调整内存管理和执行策略来优化Spark应用程序的性能？

  • spark
  • 1
  • 2024-07-02 18:35
Serendipty#
采纳率48%
  • 2

    回答

关于#spark#的问题：选择题单选、下列 scala 语言变量定义与赋值中正确的是() A:val a=‘Hello’ B:val b:String=“123” C val c:Int=5

2、下列 scala 语言变量定义与赋值中正确的是()A:val a=‘Hello’ B:val b:String=“123”C val c:Int=5;c=6 D: var d = “H

  • spark
  • 0
  • 2024-07-02 01:54
回答 2401_83589032
采纳率0%
  • 2

    回答

编写一段程序，实现以下五个要求

(1)初始化数组ArrayA，值为1 2 3 4 5。初始化数组ArrayB，值为6 7 8。(2)查看数组ArrayA第一个元素(3)判断数组ArrayA是否包括6(4)获得数组ArrayB长度(5

  • spark
  • 24
  • 2024-07-02 01:32
回答 2401_83589032
采纳率0%
  • 3

    回答

利用pyspark中case when将df中两列信息新增一列进行定义

如上图，已知df中渠道大类和一级分类两个字段名列里的字段信息；如何使用pyspark代码中的case when函数将渠道大类和一级分类两个字段名列下的字段信息，按对应授权强度新增一列进行定义？即最终

回答 needhelp2
采纳率14.3%
  • 2

    回答

关于#spark#的问题，请各位专家解答！

wget http://10.90.3.2/HUP/spark/taxi.csv--2024-06-21 10:33:29-- http://10.90.3.2/HUP/spark/taxi.cs

  • spark
  • 3
  • 2024-06-21 10:35
回答 m0_73402004
采纳率0%
  • 2

    回答

spark对数据集的使用和分析

根据提供的books.csv数据集对数据集使用spark进行分析（可以使用spark-core或者spark-sql）将每个出版设在2010-2020年度出版的切书籍名称小于8个汉字长度的（含8个）书

  • spark
  • 11
  • 2024-06-21 01:27
回答 2401_85540850
采纳率82.6%
  • 3

    回答

实习中做大数据平台搭建设计

刚开始做大数据平台的实习，底层集群用了cdh，想问下怎样合理分配节点和服务器🥹刚实习两天就干这个

回答 咪斯特儿
采纳率0%