jerryliun 2017-09-06 08:27 采纳率: 82.6%
浏览 1072
已采纳

spark(自带hive)不能读取主子表的数据

【问题详细描述】
spark(自带hive)读取不了主子表的数据,非主表的数据可以读取。spark版本:spark-1.3.0-bin-hadoop2.4
使用的jar包:
spark-sequoiadb-1.12.jar
sequoiadb-driver-1.12.jar
hadoop-sequoiadb-1.12.jar
hive-sequoiadb-1.12.jar
postgresql-9.4-1201-jdbc41.jar
查询主表错误如下:
select * from test201607_cs.tb_order limit 1 ;

Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 4 times, most recent failure: Lost task 0.3 in stage 16.0 (TID 362, sdb-223.3golden.hq): com.sequoiadb.exception.BaseException: errorType:SDB_DMS_CS_NOTEXIST,Collection space does not exist
Exception Detail:test201607_cs
at com.sequoiadb.base.Sequoiadb.getCollectionSpace(Sequoiadb.java:598)
at com.sequoiadb.hive.SdbReader.(SdbReader.java:145)
at com.sequoiadb.hive.SdbHiveInputFormat.getRecordReader(SdbHiveInputFormat.java:120)
at org.apache.spark.rdd.HadoopRDD$anon$1.(HadoopRDD.scala:236)
at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:212)
复制代码

查询非主表结果:
select * from test201607_cs.test_hive limit 1 ;

+----------+
| shop_id |
+----------+
| 10048 |
+----------+

  • 写回答

1条回答 默认 最新

  • 巨杉数据库SequoiaDB 企业官方账号 2017-09-06 08:30
    关注

    可以使用spark的连接器:

    CREATE table st_order ( shop_id string, date string) using com.sequoiadb.spark OPTIONS ( host 'localhost:11810', collectionspace 'test201607_cs', collection 'st_order');
    复制代码

    注意date这种关键字需要使用``括起来。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题