weixin_46001131
nighter啊
采纳率100%
2021-03-26 15:23

spark在单机模式下的测试怎么做?

我是ubuntu20.04系统,用idea通过maven项目要做spark的测试,关于spark集群还没建立,但要求用docker-compose来建立,因为只有一台电脑。但我不知道怎么测试,新建maven项目然后新建scala,然后在scala里面写代码吗,真小白也不太会用pom配置,这里是导师发给我的项目,让我自己去测试别的(先进行单机测试,不用搭建集群),但我不知道怎么找,单机测试什么,

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
class ScalaWordCount {
}
object ScalaWordCount {
  def main(args: Array[String]): Unit = {
    val list = List("An old woman had a cat",
      "The cat was very old she could not run quickly and she could not bite because she was so old",
      "'Do not be unkind to the old but remember what good work the old did when they were young")
    val conf = new SparkConf().setAppName("Wordcount").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.parallelize(list)
    val words: RDD[String] = lines.flatMap((line: String) => {
      line.split(" ")
    })
    val wordAndOne: RDD[(String, Int)] = words.map((word: String) => {
      (word, 1)
    })
    val wordAndNum: RDD[(String, Int)] = wordAndOne
      .reduceByKey((count1: Int, count2: Int) => {
        count1 + count2
      })
    val ret = wordAndNum
      .sortBy(kv => kv._2, false)
    println(ret.collect().mkString(","))
    //ret.saveAsTextFile(args(0))
    sc.stop()
  }
}
  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

2条回答

  • lidelin10 木子的木木 2月前

    1、java环境配了吗?

    2、scala环境配了吗?

    3、spark依赖引了吗?

    4、跑就行

    点赞 1 评论 复制链接分享
  • QA_Assistant 有问必答小助手 2月前

    你好,我是问答小助手,非常抱歉,本次您提出的有问必答问题,目前超出我们的服务范围,暂时无法为您解答。

    首次提问人员可免费体验一次有问必答服务。目前首次提问的问题服务范围为:编程语言、Java开发、python、数据库、前端开发 领域专业技术问题,为您提供问题的解决思路和指导。

    不提供源码代写、项目文档代写、论文代写、安装包资源发送或安装指导等服务。

    我们后续会持续优化,扩大我们的服务范围,为您带来更好地服务。

    点赞 评论 复制链接分享

相关推荐