spark2.3.3跨集群读取hive2.4.2

Question

问题描述：

旧集群为spark2.1.0，hive2.4.2。新集群为cdh的spark2.3.3+hive3.0.0。hdfs不在一起。我尝试用spark2.3.3去读旧集群的hive2.4.2。在spark-submit的时候--files添加了 hive-site.xml。 里面定义了

spark.sql.warehouse.dir=hdfs://master:9000/apps/hive/warehouse

hive.metastore.uris=thrift://master:9083

这里的master为旧集群的地址。

当我将依赖包打进要执行的jar的时候执行抛出如下异常:

 class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator

而当我仅执行original的jar包，
依赖包选择spark-submit --jars的方式引入时，则抛出这个异常

 org.apache.thrift.TApplicationException: Invalid method name: 'get_all_functions'