idea 本地spark读取hive的lzo压缩格式表报错

Question

在idea上执行

    val spark: SparkSession = SparkSession
      .builder()
      .master("local")
      .enableHiveSupport()
      .config("hive.metastore.uris", "thrift://XXX:9083")
      .getOrCreate()


    spark.sql(
      """
        |select
        |*
        |from
        |XXX.XXX
        |""".stripMargin).show()

    spark.close()

报错

Answer 1

引用chatgpt内容作答：
从你提供的代码和报错信息来看，这个问题很可能与 LZO 压缩库的加载和配置有关。以下是一些可能的修改，帮助你解决问题：

1、添加 LZO 依赖： 首先，确保你的项目中已经添加了 LZO 的依赖库。在 Maven 项目中，可以在 pom.xml 中添加类似下面的依赖：

<dependency>
    <groupId>com.hadoop.gplcompression</groupId>
    <artifactId>hadoop-lzo</artifactId>
    <version>0.4.21</version>
</dependency>

请注意，版本号可能需要根据你的需求进行适当修改。

2、配置加载 LZO 库： 在你的 Spark 代码中，添加加载 LZO 压缩库的配置。在创建 SparkSession 之前，通过设置 spark.executor.extraLibraryPath 和 spark.driver.extraLibraryPath 来指定 LZO 库的路径。例如：

.config("spark.executor.extraLibraryPath", "/path/to/lzo/libs")
.config("spark.driver.extraLibraryPath", "/path/to/lzo/libs")

将 /path/to/lzo/libs 替换为 LZO 库所在的路径。

3、修改本地模式为集群模式： 将 Spark Session 的 master 参数设置为集群模式，以更好地模拟生产环境。例如，将 .master("local") 修改为 .master("yarn")。

4、配置 Hadoop 相关环境变量： 确保你的环境变量中包括了正确的 Hadoop 配置信息。特别是，确保 HADOOP_HOME 正确设置，并且 PATH 包含了 Hadoop 相关的可执行文件目录。

最终，你的代码可能会类似于以下示例：

import org.apache.spark.sql.SparkSession

object HiveLZOExample {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession
      .builder()
      .master("yarn")  // Switched to cluster mode
      .enableHiveSupport()
      .config("hive.metastore.uris", "thrift://XXX:9083")
      .config("spark.executor.extraLibraryPath", "/path/to/lzo/libs")
      .config("spark.driver.extraLibraryPath", "/path/to/lzo/libs")
      .getOrCreate()

    spark.sql(
      """
        |select
        |*
        |from
        |XXX.XXX
        |""".stripMargin).show()

    spark.close()
  }
}

请根据你的实际情况，将代码中的路径、版本和配置进行适当的修改。