spark 全部 | 未解决 | 已解决
2018.11.16 16:44来自 qq623170974

为什么if判断中的Indexer那一行会报错?

for循环外部定义了Indexer对象后在IF判断中不可以重新赋予吗?因为我之后想在循环外部调用这个对象,应该怎么解决这个问题? // 读取以csv格式存储的数据 val data1 = spa...
1

回答

2018.11.16 16:36来自 qq623170974

spark的dataframe中如何提取某一列数据的类型做判断?

例如: if ( df.select(列名).获取数据的类型 == String){ }
1

回答

2018.11.15 15:31来自 qq_23677453

怎样在IDEA里debug调试spark源码的shuffle内存调度模块?

我将spark1.6.1版本的源码导入到IDEA里了,想debug调试shuffle内存调度的模块,但是我将断点打到sortShuffleWriter里的write里后,执行的时候发现一直没有运行到断点,貌似 m...
1

回答

2018.11.14 17:10来自 qq_23677453

java里调用scala的HashMap[Long,Long],返回的是HashMap[Object,Object]?

rt,scala里面定义的HashMap[Long,Long]变量,在java文件里想调用这个变量,结果变成了HashMap[Object, Object],这个怎么解决? ![![图片说明](https...
1

回答

2018.11.13 22:46来自 qq_20649859 悬赏 80C

求算法,一篇论文中的spark随机森林并行问题。

本人萌新一枚,刚开始接触spark不久看了一篇论文《A Parallel Random Forest Algorithm for Big Data in a Spark Cloud Computing Enviro...
1

回答

2018.11.10 17:08来自 bytexiaobai

spark on yarn 8088界面只有一个程序是Running状态,其他都是ACCEPTED状态

请教:我的程序是只能在8088界面显示一个AppId 是running状态,其他都是ACCEPTED状态。尝试修改了spark-env以及yarn-site.xml,spark-defaults.conf,以及ca...
1

回答

2018.11.09 02:58来自 wenjunlong88_easy 悬赏 80C

使用livy提交spark任务失败

post地址:http://192.168.244.130:8998/batches body: {"file":"hdfs://192.168.244.130:9000/mdjar/mo...
1

回答

2018.11.08 22:51来自 wenjunlong88_easy 悬赏 40C

当jar在hdfs的时候提交spark job报错

(一)jar不在hdfs上的时候提交spark任务成功,使用的命令: spark-submit --master spark://192.168.244.130:7077 --class ...
2

回答

2018.11.08 16:04来自 csdnceshi4

为什么Spark只会惰性计算RDD?

为什么Spark只会惰性计算RDD?为什么只有第一次在一个行动操作中用到时,才会真正计算?
2

回答

2018.11.06 23:11来自 wenjunlong88_easy 悬赏 80C

[已解决] 在Java web中怎么提交一个spark job任务?

场景与需求:用户在web页面点击某个按钮,然后需要提交一个spark job到spark集群运行。想通过java代码实现与使用spark-submit一样的效果,请问各位大佬应该怎么做? 望各位大佬不吝赐教!求教...
2

回答

热门标签 更多