Me丶kang
2019-01-19 13:06spark2.3.3跨集群读取hive2.4.2
问题描述:
旧集群为spark2.1.0,hive2.4.2。新集群为cdh的spark2.3.3+hive3.0.0。hdfs不在一起。我尝试用spark2.3.3去读旧集群的hive2.4.2。在spark-submit的时候--files添加了 hive-site.xml。 里面定义了
spark.sql.warehouse.dir=hdfs://master:9000/apps/hive/warehouse
hive.metastore.uris=thrift://master:9083
这里的master为旧集群的地址。
当我将依赖包打进要执行的jar的时候执行抛出如下异常:
class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator
而当我仅执行original的jar包,
依赖包选择spark-submit --jars的方式引入时,则抛出这个异常
org.apache.thrift.TApplicationException: Invalid method name: 'get_all_functions'
- 点赞
- 回答
- 收藏
- 复制链接分享
0条回答
为你推荐
- 在Doctrine 2.3.3中放置docblock注释的位置
- orm
- php
- 1个回答
- mysql只拉取用户没有的行
- mysql
- pdo
- php
- 1个回答
- doctrine / migrations与symfony 2.2不兼容。*
- symfony
- php
- 1个回答
- android源码2.3.3怎么升级到2.3.4?
- android
- 0个回答
- Android程序目录里怎么多了个proguard.cfg
- android
- 0个回答
换一换