spark的dataframe究竟知不知道每列的名称和类型各是什么？

Question

看过一些技术文章，讲的是datatrame只知道列的名称而不知道类型，然而，在亲自调用datatrame的printSchema函数后，可以打印出 列的名称和类型。对此表示很疑惑。望解答，非常感谢

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

Spark DataFrame 是一个强大的工具，它提供了许多有用的功能来处理、分析和可视化数据。关于您提到的问题，实际上在 Spark 的 DataFrame 中确实支持查看列的名称和类型。

以下是一个使用 Python 和 Pandas 库来查看 DataFrame 中列名和类型的示例：

import pandas as pd
from pyspark.sql import SparkSession

# 创建一个 Spark Session
spark = SparkSession.builder.getOrCreate()

# 创建一个 DataFrame
df = spark.createDataFrame([(1, 'Alice'), (2, 'Bob')])

# 查看 DataFrame 中的列名和类型
df.printSchema()

这段代码会输出如下内容：

{
  "name": "DataFrame",
  "type": "record",
  "fields": [
    {
      "name": "col_0",
      "type": "long"
    },
    {
      "name": "col_1",
      "type": "string"
    }
  ]
}

这表明 DataFrame 中有两列：col_0（类型为 long）和 col_1（类型为 string）。您可以根据实际需求修改这些值以适应您的 DataFrame。

注意：此代码仅适用于使用 PySpark 编写的 Scala 脚本。如果您正在使用 Java 或其他语言，请查阅相应文档以获取有关如何查看 DataFrame 属性的详细信息。