头歌scalaRDD、DataSet 与 DataFrame 的转换

Question

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame,SparkSession}

object First_Question {

  case class Employee(id:Int,e_name:String,e_part:String,salary:Int)

  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("First_Question")
      .master("local[*]")
      .getOrCreate()

    val rdd: RDD[(Int, String, String, Int)] = spark.sparkContext.parallelize(List((1001, "李晓", "运营部", 6000), (1002, "张花", "美术部", 6000), (1003, "李强", "研发部", 8000), (1004,"田美", "营销部", 5000), (1005, "王菲", "后勤部", 4000)))


    /******************* Begin *******************/  

    /******************* End *******************/

    spark.stop()

  }
}

使用 Scala 编写工程代码，根据所给 RDD，先转换为 DataFrame 格式，然后再将其转换为 DataSet 数据集格式并输出结果。

任务说明： 打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完善程序，根据所给 RDD，先转换为 DataFrame 格式，然后再将其转换为 DataSet 数据集格式并输出结果。

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

根据你的需求，下面是你需要在 Begin 至 End 区域补充的 Scala 代码：

import org.apache.spark.sql.Dataset

/******************* Begin *******************/  

// 将RDD转换为DataFrame
val employeeDataFrame = rdd.toDF("id", "e_name", "e_part", "salary")

// 将DataFrame映射到Employee的case class
val employeeDataset: Dataset[Employee] = employeeDataFrame.as[Employee]

// 输出DataSet中的数据
employeeDataset.show()

/******************* End *******************/

这段代码首先使用 toDF 方法将 RDD 转换为 DataFrame，然后使用 as 方法将 DataFrame 映射到 Employee 类型。最后，使用 show 方法打印出 DataSet 中的数据。

请注意，由于 DataFrame 和 DataSet 在 Spark 2.x 版本中都得到了支持，而 DataSet 是 Spark 1.x 版本的一个概念，所以在 Spark 2.x 版本中，DataFrame 已经可以提供类似的功能。如果你使用的是 Spark 2.x 或更高版本，通常不需要显式地转换到 DataSet，因为 DataFrame API 已经足够强大和灵活。

如果你需要在 Spark 2.x 版本中使用 DataSet，你可以通过以下方式进行转换：

// 将DataFrame转换为DataSet
val employeeDataset: Dataset[Employee] = employeeDataFrame.as[Employee]

但是，通常在 Spark 2.x 版本中，我们直接使用 DataFrame 进行操作，因为它已经包含了 DataSet 的所有功能，并且提供了更丰富的 API。如果你的 Spark 版本是 1.x，那么上述代码是正确的。如果你使用的是 Spark 2.x 或更高版本，你可以直接使用 DataFrame 并省略转换到 DataSet 的步骤。