1.PySpark代码常用的SparkSQL的数据类型是什么?。
2.SparkSQL中对整张表的描述信息存储在哪个对象中?。
1.PySpark代码常用的SparkSQL的数据类型是什么?。
2.SparkSQL中对整张表的描述信息存储在哪个对象中?。
1、目前pyspark.sql.types支持的数据类型:NullType、StringType、BinaryType、BooleanType、DateType、TimestampType、DecimalType、DoubleType、FloatType、ByteType、IntegerType、LongType、ShortType、ArrayType、MapType、StructType(StructField)。
其中ArrayType、MapType、StructType我们称之为“复合类型”,其余称之为“基本类型”,“复合类型”在是“基本类型”的基础上构建而来的。
2、SparkSession对象