spark 全部 | 未解决 | 已解决
2018.12.10 13:02来自 悬赏 5C

spark sql如何执行delete

请问大家,spark sql如何执行delete和update操作呢?(hive除外)。单纯说的,只用spark sql能否实现呢?谢谢
1

回答

2018.12.05 07:25来自 qq_35265056 悬赏 20C

可否让spark算子执行到某一步时,通过某些控制条件,让整个spark程序停止,或者在那一步保存结果到文件?

有这么一个需求:让rdd1执行map(或其他算子),当出现满足条件的情况时,控制整个spark程序停止,或是保存停止结果到文件(优先保存结果到文件),而不继续执行后续步骤,为了提高速度。 ``` //示例...
2

回答

2018.12.05 06:35来自 ~QAQ~

可否让spark算子执行到某一步时,通过某些控制条件,让整个spark程序停止,或者在那一步保存结果到文件?

有这么一个需求:让rdd1执行map(或其他算子),当出现满足条件的情况时,控制整个spark程序停止,或是保存停止结果到文件(优先保存结果到文件),而不继续执行后续步骤 ``` //示例,大概就是这么一个...
0

回答

2018.12.04 09:20来自 Dreamer_Sun2020

求助大神Scala独立应用编程sbt安装问题?

sbt-version验证一直出现java:未找到命令或者Java:not found,sbt文本文件内容是 SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUn...
1

回答

2018.12.03 09:21来自 Scapel

SparkStreaming程序报错,yarn模式,求解答!

WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed: container_1543366370005_9010_0...
1

回答

2018.11.23 13:35来自 qq_23677453

已经把spark源码导入IDEA里了,能用local-cluster运行examples里的例子吗?

我在VM Options里设置参数:-Dspark.master=local-cluster[2,1,1024],运行始 终报错ClassNotFound,找不到的类就是运行的example的class,...
1

回答

2018.11.20 08:02来自 Eumenides-Z 悬赏 5C

Spark中如何将多个LabeledPoint合并成一个LabeledPoint,用以训练分类模型

使用pyspark.mllib,对几个用textFile读取的RDD(a,b,c,d)打标签 ``` A = a.map(lambda features:LabeledPoint(0.0,f...
2

回答

2018.11.19 09:05来自 Eumenides-Z 悬赏 5C

[已解决] 如何将spark读入的txtRDD文本转为Vector格式

在spark上使用textFile读入HDFS中的txt文件,该文件部分如下: ``` 49420 1383788 0.000020 358064278.750527 0 0.000000 48896...
1

回答

2018.11.16 08:44来自 Z. yus

为什么if判断中的Indexer那一行会报错?

for循环外部定义了Indexer对象后在IF判断中不可以重新赋予吗?因为我之后想在循环外部调用这个对象,应该怎么解决这个问题? // 读取以csv格式存储的数据 val data1 = spa...
1

回答

2018.11.16 08:36来自 Z. yus

spark的dataframe中如何提取某一列数据的类型做判断?

例如: if ( df.select(列名).获取数据的类型 == String){ }
1

回答