数据程序设计
2022-04-27 19:10
采纳率: 0%
浏览 297

头歌 rdd的创建 -scala

任务描述
相关知识
集合创建RDD
reduceByKey()
编程要求
测试说明
任务描述
本关任务:计算并输出各个学生的总成绩。

相关知识
为了完成本关任务,你需要掌握:1.集合并行化创建RDD,2.reduceByKey算子、foreach算子

集合创建RDD
Spark会将集合中的数据拷贝到集群上去,形成一个分布式的数据集合,也就是一个RDD。相当于是,集合中的部分数据会到一个节点上,而另一部分数据会到其他节点上。然后就可以用并行的方式来操作这个分布式数据集合,即RDD。

val list=List(1,2,3,4,5)
val stu=sc.parallelize(list,3)//参数1:Seq集合,必须。参数2:分区数,默认为该Application分配到的资源的CPU核数
//val stu=sc.makeRDD(list,3) //和parallelize用法一样。(该用法可以指定每一个分区的preferredLocations)。
val sum=stu.reduce(+)
println(sum)
输出:15

reduceByKey()
对元素为RDD[K,V]对的RDD中Key相同的元素的Value进行聚合

val list = List(("spark",2),("hive",1),("hive",2))
val stuRDD = sc.makeRDD(list)
stuRDD.reduceByKey(+)
输出:
(spark,2)
(hive,3)

foreach() :对数据集中每一个元素运行函数

val list = List(1,2,3,4)
val stuRDD = sc.makeRDD(list)
stuRDD.foreach(print)//对这个RDD进行遍历输出
输出:1234

编程要求
根据提示,在右侧编辑器begin-end处补充代码,计算并输出各个学生的总成绩。

("bj",88): bj指学生姓名,88指学生成绩。
测试说明
平台会对你编写的代码进行测试:

预期输出:

(bj,254)
(sh,221)
(gz,285)

开始你的任务吧,祝你成功!

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object Student {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local")
val sc = new SparkContext(conf)
val arr1=Array(("bj",88),("sh",67),("gz",92))
val arr2=Array(("bj",94),("sh",85),("gz",95))
val arr3=Array(("bj",72),("sh",69),("gz",98))

//第一步:先将数组进行合并


//第二步:创建RDD


//第三步:把相同key的进行聚合


//第四步:输出


sc.stop()

}
}

  • 写回答
  • 好问题 提建议
  • 追加酬金
  • 关注问题
  • 邀请回答

2条回答 默认 最新

相关推荐 更多相似问题