nighter啊 2021-03-26 15:23 采纳率: 100%
浏览 53
已结题

spark在单机模式下的测试怎么做?

我是ubuntu20.04系统,用idea通过maven项目要做spark的测试,关于spark集群还没建立,但要求用docker-compose来建立,因为只有一台电脑。但我不知道怎么测试,新建maven项目然后新建scala,然后在scala里面写代码吗,真小白也不太会用pom配置,这里是导师发给我的项目,让我自己去测试别的(先进行单机测试,不用搭建集群),但我不知道怎么找,单机测试什么,

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
class ScalaWordCount {
}
object ScalaWordCount {
  def main(args: Array[String]): Unit = {
    val list = List("An old woman had a cat",
      "The cat was very old she could not run quickly and she could not bite because she was so old",
      "'Do not be unkind to the old but remember what good work the old did when they were young")
    val conf = new SparkConf().setAppName("Wordcount").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.parallelize(list)
    val words: RDD[String] = lines.flatMap((line: String) => {
      line.split(" ")
    })
    val wordAndOne: RDD[(String, Int)] = words.map((word: String) => {
      (word, 1)
    })
    val wordAndNum: RDD[(String, Int)] = wordAndOne
      .reduceByKey((count1: Int, count2: Int) => {
        count1 + count2
      })
    val ret = wordAndNum
      .sortBy(kv => kv._2, false)
    println(ret.collect().mkString(","))
    //ret.saveAsTextFile(args(0))
    sc.stop()
  }
}
  • 写回答

2条回答 默认 最新

  • 木子的木木 2021-03-26 22:33
    关注

    1、java环境配了吗?

    2、scala环境配了吗?

    3、spark依赖引了吗?

    4、跑就行

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏!微信开发者工具报错,求帮改
  • ¥20 wireshark抓不到vlan
  • ¥20 关于#stm32#的问题:需要指导自动酸碱滴定仪的原理图程序代码及仿真
  • ¥20 设计一款异域新娘的视频相亲软件需要哪些技术支持
  • ¥15 stata安慰剂检验作图但是真实值不出现在图上
  • ¥15 c程序不知道为什么得不到结果
  • ¥40 复杂的限制性的商函数处理
  • ¥15 程序不包含适用于入口点的静态Main方法
  • ¥15 素材场景中光线烘焙后灯光失效