dkk2014
Me丶kang
2019-01-19 13:06

spark2.3.3跨集群读取hive2.4.2

  • scala
  • 数据挖掘
  • 云计算

问题描述:

旧集群为spark2.1.0,hive2.4.2。新集群为cdh的spark2.3.3+hive3.0.0。hdfs不在一起。我尝试用spark2.3.3去读旧集群的hive2.4.2。在spark-submit的时候--files添加了 hive-site.xml。 里面定义了

spark.sql.warehouse.dir=hdfs://master:9000/apps/hive/warehouse

hive.metastore.uris=thrift://master:9083

这里的master为旧集群的地址。

当我将依赖包打进要执行的jar的时候执行抛出如下异常:

 class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator

而当我仅执行original的jar包,
依赖包选择spark-submit --jars的方式引入时,则抛出这个异常


 org.apache.thrift.TApplicationException: Invalid method name: 'get_all_functions'
  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

0条回答