spark数据抽取显示DataType bigint(20) is not supported.(line 3, pos 3)

Question

Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException:
DataType bigint(20) is not supported.(line 3, pos 3)

Answer 1

参考CHATGPT和自己的理解回答，希望能帮到你
使用Spark时遇到了一个数据类型不支持的问题。您正在尝试使用bigint(20)数据类型，但是出现了异常，提示该数据类型不受支持。

Spark SQL和DataFrame支持多种数据类型[2]，但是bigint并没有被列为支持的数据类型。因此，您需要将bigint类型转换为支持的数据类型。

根据[1]中的回答，bigint是一种长整型数据类型，应该使用Spark中的长整型数据类型LongType来替换。转换的方法可以使用Spark SQL中的cast函数，例如：

import org.apache.spark.sql.functions._
df.withColumn("newColumn", col("oldColumn").cast("long"))

此外，如果您使用的是Spark 2.1.x版本，还需要注意[3]中提到的一些问题。

希望这可以帮助您解决问题！