• 全部
  • 关注
  • 有问必答
  • 等你来答

排行榜

  • 用户榜
  • 标签榜
  • 冲榜分奖金

频道

  • 编程语言
  • 后端
  • Python
  • Java
  • 前端
最新最热精华悬赏待回答 筛选
  • 1

    回答

  • 9

    浏览

使用大数据的行业,比如,银行领域,金融交易分析,医疗领域,帮助医生完成病人诊断,能源行业、通用技术、消费技术和制造业都在应用大数据。 从事大数据行业的前景如何?是的,非常好,截止到2026年仅大数据一

  • 0

    回答

  • 4

    浏览

多维度二次排序取TOPN数据说明:student_score.txt 1,张三,88,98,892,张四,78,98,60 在该文本中保留了学生的成绩,例如: 1,张三,88,98,89 -&gt

  • 1

    回答

  • 9

    浏览

连接spark,怎么显示spark创建的库

回答 qq_37928599
采纳率0%
2021-11-20 20:36
  • 1

    回答

  • 4

    浏览

求pyspark 如何返回vector类型最大值对应的标签df如下 vector【0.1,0.9】【0.8,0.2】【0.7,0.3】 返回: vector 目标列【0.1

weixin_41555165
采纳率0%
2021-11-18 11:52
  • 1

    回答

  • 10

    浏览

Pyspark取上下三帧,如果这7条数据都是1,那这条数据的这列为1,其他的为0。怎么判断某一条数据的上下三帧的一列值都是1那这条数据是1?具体如图

CayongL
采纳率0%
2021-11-17 17:36
  • 2

    回答

  • 11

    浏览

trait TestBase extends TestCase with Logging { // 创建JavaSparkContext上下文 val appCtx = new J

  • 1

    回答

  • 15

    浏览

主要想实现用spark(scala)从mysql里取存到hive,在网上找了好久的教程还是报错,求大神们指教 以下是执行命令 cd $SPARK_HOME bin/spark-submit --cl

秃头少女wwyy
采纳率0%
2021-11-16 11:08
  • 1

    回答

  • 11

    浏览

import findspark import pyspark import math findspark.init() R = 6371.393 Pi = 3.14 def get_di

今非往汐
采纳率0%
2021-11-15 01:07
  • 1

    回答

  • 4

    浏览

from mmlspark import LightGBMRegressor lgb = LightGBMRegressor(alpha=0.3, learningRate=0.3, numItera

后觉良乎喵
采纳率0%
2021-11-10 17:04
  • 1

    回答

  • 22

    浏览

1.spark部署的是yarn模式2.下面是命令:spark-submit --class Test --master yarn ../data/test.jar 10

洱千
采纳率0%
2021-11-06 19:36
  • 1

    回答

  • 10

    浏览

scala> val pagetypeCodeList=pagetypeRDD.map(x=>(userZipCode01Map(x._1),keywordZipCode01(x._2),

回答 LI_TONG_XUE
采纳率0%
2021-11-05 17:15
  • 1

    回答

  • 15

    浏览

pyspark does not support any application options. pyspark可以运行,但不能分区启动 不懂为啥,可以做简单的rdd,但复杂操作不行,比如导入t

努努那
采纳率0%
2021-11-04 18:25
  • 1

    回答

  • 17

    浏览

通过虚拟机终端输入该怎么解决

回答 ksittas
采纳率0%
2021-10-31 14:34
  • 1

    回答

  • 8

    浏览

用图形数据库存储用户和商品画像标签,比Hive、Hbase、ES、Spark要好吗?

m0_37914799
采纳率0%
2021-10-28 17:57
  • 2

  • 15

    浏览

SparkStreaming中的foreachRDD中用到了SparkSession,SparkSession关闭的时候好像只能在foreachRDD中关闭或者在scc.start()scc.awai

菏泽枭雄
采纳率100%
2021-10-25 15:00
  • 1

    回答

  • 9

    浏览

while bool( 1-np.array_equal(oldCentroids,centroids) ): #新的聚类点和旧的聚类点不相等时候执行 oldCentroids = centr

qq_45976202
采纳率0%
2021-10-25 04:01
  • 2

    回答

  • 49

    浏览

21/10/23 11:12:17 INFO MetaStoreDirectSql: Using direct SQL, underlying DB is MYSQL 21/10/23 11:12:

回答 sugar__wine
采纳率0%
2021-10-23 12:11
  • 1

    回答

  • 18

    浏览

有无大佬帮我看看是怎么回事老师说是url的问题,但是我们现在要进scala敲代码了,所以他就让我用学校的号做作业,就没帮我解决环境问题 -

回答 为你而战329
采纳率0%
2021-10-22 17:52
  • 4

    回答

  • 63

    浏览

spark 与 hive 不能链接? 报错信息 "E:\JAVA\开发工具\IDEA\IntelliJ IDEA Community Edition 2019.3.5\jbr\bin\java.e

回答 晓阿友
采纳率0%
2021-10-20 15:00
  • 2

    回答

  • 40

    浏览

现在公司嫌程序访问数据库太慢了,听说spark能给程序加速,所以希望能用Java调用spark来访问数据库。那么请问这个Java项目怎么写?(注:spark采用local模式运行即可)

  • 1

    回答

  • 16

    浏览

实在时找不到相同的报错,感觉是依赖的问题,但没找到问题所在地有没有人帮忙解决一下,谢谢

回答 Psyshi
采纳率0%
2021-10-18 16:49
  • 1

    回答

  • 13

    浏览

[csu@master sbin]$ ./start-all.shorg.apache.spark.deploy.master.Master running as process 7255. Sto

  • 1

    回答

  • 21

    浏览

比如想看1月买了手机的这部分用户A,在后面234月的购买设备情况(电视冰箱洗衣机手机等等)我的思路是用表连接,t1表是取1月买过这个产品的用户id join t2表 234月有购买行为的用户。连接的主

SharkQL
采纳率100%
2021-10-14 00:17
  • 1

    回答

  • 12

    浏览

使用:quit无法退出,后台进程一直存在,定时脚本运行后后台会出现大量spark submit进程,最后导致内存溢出,spark挂掉,这种情况应该怎么办

dream_you1
采纳率0%
2021-10-13 16:37
  • 2

    回答

  • 12

    浏览

建表路径指向另一个集群上的路径,可进行select字段的操作,但是一旦涉及insert或者使用sum,substr等函数,就会报错后面更换建表路径为本集群,还是一样的报错 更换引擎为mr之后,sele

cstg4w
采纳率20%
2021-10-11 10:42
  • 1

    回答

  • 9

    浏览

写了一个带布隆过滤器的parquet文件,现在想用Spark读文件时能够用上布隆过滤器,Spark有相应的实现了吗?

m0_57284682
采纳率0%
2021-10-09 12:27
  • 2

  • 29

    浏览

环境:hive1.1,spark1.6hadoop 2.6运行报错sql本身不会有错,同样的sql用mr可以跑出结果日志报错信息如下

cstg4w
采纳率20%
2021-09-28 16:58
  • 1

    回答

  • 11

    浏览

spark版本2.3。distribute by cast(rand()*400 as int)应该生成400个文件。当前只有255个文件,多次执行结果一样,想知道是什么原因(partition的数量

回答 a01128981
采纳率0%
2021-09-27 18:45
  • 2

    回答

  • 47

    浏览

MvQL中读写数据1.准备/1a.建库create database test01;create database test02;b.test01库中建表create table user(id in

回答 qq_53608099
采纳率0%
2021-09-25 20:03