python访问google cloud上的spark hive表

Question

我在google cloud上配置了spark，并且在相应的spark-warehouse里有一张hive表，请问我该怎么写python脚本来访问这张hive表呢？

Answer 1

您可以使用PySpark来访问在Google Cloud上配置的Spark Hive表。

首先，使用以下代码声明SparkSession：

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("HiveTableAccess") \
    .config("spark.sql.warehouse.dir", "hdfs://<path to spark-warehouse>") \
    .enableHiveSupport() \
    .getOrCreate()

请确保将 <path to spark-warehouse> 替换为相应的路径。

现在，您可以使用以下代码来访问在Hive中创建的表：

df = spark.table("<table name>")

请确保将 table name 替换为表的名称。

您可以将 df 用于进一步数据操作。

希望这可以帮助您解决您的问题！