nighter啊 2021-03-26 15:23 采纳率: 100%
浏览 53
已结题

spark在单机模式下的测试怎么做?

我是ubuntu20.04系统,用idea通过maven项目要做spark的测试,关于spark集群还没建立,但要求用docker-compose来建立,因为只有一台电脑。但我不知道怎么测试,新建maven项目然后新建scala,然后在scala里面写代码吗,真小白也不太会用pom配置,这里是导师发给我的项目,让我自己去测试别的(先进行单机测试,不用搭建集群),但我不知道怎么找,单机测试什么,

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
class ScalaWordCount {
}
object ScalaWordCount {
  def main(args: Array[String]): Unit = {
    val list = List("An old woman had a cat",
      "The cat was very old she could not run quickly and she could not bite because she was so old",
      "'Do not be unkind to the old but remember what good work the old did when they were young")
    val conf = new SparkConf().setAppName("Wordcount").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.parallelize(list)
    val words: RDD[String] = lines.flatMap((line: String) => {
      line.split(" ")
    })
    val wordAndOne: RDD[(String, Int)] = words.map((word: String) => {
      (word, 1)
    })
    val wordAndNum: RDD[(String, Int)] = wordAndOne
      .reduceByKey((count1: Int, count2: Int) => {
        count1 + count2
      })
    val ret = wordAndNum
      .sortBy(kv => kv._2, false)
    println(ret.collect().mkString(","))
    //ret.saveAsTextFile(args(0))
    sc.stop()
  }
}
  • 写回答

2条回答 默认 最新

  • 木子的木木 2021-03-26 22:33
    关注

    1、java环境配了吗?

    2、scala环境配了吗?

    3、spark依赖引了吗?

    4、跑就行

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?