spark 219个问题
2018.06.22 14:58来自 sinat_36116310 悬赏 80C
请问大数据如何处理以下这个需求
请看下面这个日志 用户id 视频id 操作 402 40086 开始播放 403 37896 开始播放 764 675 开始播放 1037 8696 开始播放 402 40086 暂停回放 764 675 暂停回...
3

回答

2018.05.22 15:51来自 Abrohambaby 悬赏 5C
spark sparkcontext 初始化失败
环境 Ubuntu 16.04 hadoop 2.7.3 scala 2.11.8 spark 2.1.0 已经安装好了hadoop scala,之后配置了下 spark 运行 s...
2

回答

2018.05.18 17:25来自 CSDN_Black 悬赏 10C
spark读取不了本地文件是怎么回事
``` textFile=sc.textFile("file:///home/hduser/pythonwork/ipynotebook/data/test.txt") stringRDD=textFile....
2

回答

2018.05.17 13:08来自 jefflyn163 悬赏 5C
cannot run spark-shell on mac 10.13.4
jdk-8.0, scala-2.11.12, spark-2.3.0 JAVA_HOME, SCALA_HOME配置了, 跑spark-shell报错 Exception in thread "main" jav...
2

回答

2018.05.08 18:49来自 awdzzzz 悬赏 10C
spark-submit命令运行jar包报空指针,Java -jar命令可以运行。
local[*]模式下的spark程序,在idea上运行没问题,用maven打出来的jar包在windows的cmd下运行java -jar XX.jar 也可以运行成功。将jar包放到集群中运用spark-sub...
3

回答

2018.05.05 17:37来自 CSDN_Black 悬赏 5C
pyspark 报错 python未找到命令
今天在Ubuntu18安装了spark2.3 环境是python 3.6 在命令行输入:pyspark后报错 ``` /usr/local/spark/bin/pyspark: 行 45: python:...
1

回答

2018.05.04 11:42来自 q996676479 悬赏 5C
scala map集合映射怎么定义双层嵌套的
刚开始定义为空的, 然后for循环可以不断添加外层的Key,和内层的key,value 就这种( 1->(2->3, 3->4) )
2

回答

2018.04.26 09:37来自 qq_39582456 悬赏 40C
还是昨天的Spark数据分析的问题,求代码,有帮助的可以再加C币
现在我有一组数据,第一列是入站口到出站口(OD),第二列是刷卡的卡号,第三列是出行总时间。 现在我想研究在相同的OD下,出行时长的分布,并从中筛选出出行时长异常的卡号,默认出行时长超过该OD最短出行时长2倍为异常...
3

回答

2018.04.25 16:25来自 qq_39582456 悬赏 10C
Spark 数据分析 求助大神
现在我有一组数据,第一列是入站口到出站口(OD),第二列是刷卡的卡号,第三列是出行总时间。 现在我想研究在相同的OD下,出行时长的分布,并从中筛选出出行时长异常的卡号,默认出行时长超过该OD最短出行时长2倍为异常。...
1

回答

2018.04.02 11:56来自 zxj19951029 悬赏 5C
如果有海量用户地理位置,如何分析居住地址,工作地址?
最好是spark实现方式,有什么好的计算方式呢?能分析出用户最常去的地址,我的想法是在晚上这个时间,用户最多存在的地址就是居住地址,但是用spark如何实现呢?
1

回答

共219条数据 1 3 4 ... 尾页