hive库中的表查询时报错,其他的表可以正常查询,只有这个表不行

Diagnostic Messages for this Task:
Error: java.io.IOException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97)
at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderCreationException(HiveIOExceptionHandlerUtil.java:57)
at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:266)
at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.(HadoopShimsSecure.java:213)
at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileInputFormatShim.getRecordReader(HadoopShimsSecure.java:333)
at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:720)
at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.(MapTask.java:169)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:432)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1785)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:252)
... 11 more
Caused by: java.lang.IndexOutOfBoundsException: toIndex = 608
at java.util.ArrayList.subListRangeCheck(ArrayList.java:1004)
at java.util.ArrayList.subList(ArrayList.java:996)
at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.getSchemaOnRead(RecordReaderFactory.java:161)
at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.createTreeReader(RecordReaderFactory.java:66)
at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl.(RecordReaderImpl.java:202)
at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.rowsOptions(ReaderImpl.java:541)
at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.createReaderFromFile(OrcInputFormat.java:232)
at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$OrcRecordReader.(OrcInputFormat.java:165)
at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getRecordReader(OrcInputFormat.java:1156)
at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.(CombineHiveRecordReader.java:67)
... 16 more

3个回答

Caused by: java.lang.IndexOutOfBoundsException: toIndex = 608
下标溢出,检查下你的代码

很明显是数组(下标)溢出, .IndexOutOfBoundsException

今天我也遇到了这个问题,应该不是数组下标溢出的问题,看看建表语句,存储方式、mapreduce数量等等。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Hive parquet 表查询报错
把数据存成parquet 格式后,建立对应的表,但是查询的时候会报下面的错误:Hive Runtime Error while processing row [Error getting row data with exception java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWr
Hive 8. 表查询
表查询现在就来讨论一下各种 Select 语句的使用。排序与聚合和普通的数据库相似, Hive 可以使用标准的 Order By 子句来对数据进行排序。 Order By 会对所有的输入进行一个单线程的全局排序,所以如果数据量比较大,效率会非常缓慢。所以当不需要对所有的数据进行排序时(多数情况下都不需要),可以使用 Hive 自己提供的非标准的 Sort By 来代替,他是依靠 reducer 来进
查询某个表作为其他表的外键
就是为程序员提供了一条可以查询表的主键被其他表引用为外键情况的查询
表与表查询
请问如何查询下面的输入rnrn比如 table 表字段 a 里面的数据是 abcd,12345rnrntable2 表字段 b 里面的数据是 12345rnrn请问如何下 sql 查询 table 的 a (后面的 12345) 对应 table2 表字段 记录 b 呢rnrnrn就是根据 table 表字段 a 里面的数据是 abcd,12345 找出 rnrnrntable2 记录数据rn
Spark查询Hive表时没有权限及无法找到表
用spark-submit执行python文件,进行hive表的操作时,会出现报错: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------
Hive 表加载,导出和查询
Hive表的数据加载加载本地文件到数据表$ local data local inpath '/../../.' into table table_name;加载hdfs文件到hive表$ load data inpath '/load_students' into student_load_hdfs;覆盖表中所有数据overwrite 关键字$ local data local inpath '/
查询时从其他表替换数据?
查询时从其他表替换数据?rn表table1rnid username typern1 zs 1rn2 ls 2rn3 ww 1rnrn表table2rntypeid typenamern1 农民rn2 工人rnrn我要从上两个表查出rn1 zs 农民rn2 ls 工人rn3 ww 农民rnrn谢谢!
存储过程的通过其他的表的查询
存储过程的通过其他的表的查询 CREATE PROCEDURE proc_addT07remind AS BEGIN     insert into T10(F0101,F1004,F1006,F1007,F1008)     (         SELECT F0101,'未确认',F0707,F0701,'未处理'         FROM T07         whe
powerdesigner 生成的表查询时报错 表或视图不存在
初次使用 PowerDesigner 创建sql时,运行后看到数据库中存在表,     查询表信息时,报错:表或视图不存在            经检查原来是因为在 PowerDesigner 中创建模型时,用的全部是小写,在生成SQL脚本得时候会带上双引号,所以在查询的时候需要都带上双引号    这样查询不方便,所以在生成的SQL脚本中将双引号全部替换掉就可以了,
跨表查询?查询两个表
数据库中有两个表:进货表和销售表rnrn进货表:rn产品名称 进货量rn产品1 10rn产品2 20rnrn销售表:rn产品名称 销售量rn产品1 5rn产品2 5rnrn请问如何写SQL可以如下方式显示:rnrn产品名称 进货量 销售量 库存量rn产品1 10 5 5rn产品2 20 5 15rnrn多谢!!rn
表的查询
我想问下 我有个STU的表 我想按ID 倒叙输出这个表 但是这个表的最后一个我又想排除掉 这个语句怎么实现呢rn就是例如 1 2 3 4 5 6 我想倒叙输出 5 4 3 2 1 而6就不输出了
表查询
A表 bh pj B表 bh pjrn 1 配件1 rn 1 配件2rn 1 配件3rn 1 配件4rn 2 配件1rn 2 配件2rn .....................rn我想实现的是rnrn把A表的数据导到B表里面 实现的样子是B表 bh pjrn 1 配件1、配件2、配件3、配件4rn 2 配件1、配件2、配件3、配件4rn ........................................rn有办法实现吗rnrnrn
查询结果表与原表比较查询
之前照书写过此,忘了!rn我要比较consume_main表rn查询结果表与consume_main原表比较rn查询出满足的结果~where a.cardid=b.cardidrnand a.consumeorder=b.consumeorderrnand a.consume=b.consumernand a.stationno<>b.stationnornrnrn我的语句rn[code=SQL]rnselect * from (rnselect * from consume_main brnwhere stationno in (-10,153,158,183,189)rnand convert(varchar(10),curtime,120)>='2009-08-01'rnand convert(varchar(10),curtime,120)<='2009-08-31'rn) arnwhere a.cardid=b.cardidrnand a.consumeorder=b.consumeorderrnand a.consume=b.consumernand a.stationno<>b.stationnornrn[/code]rnrn
hive的库及表的基本操作
一.创建数据库 1.创建数据库 create database financials; 2.创建数据库,避免抛出错误信息 create database if not exists financials; 3.查看hive中包含的数据库 show databases; 4.显示当前所在数据库 use financials ; 5.删除空数据库
MySQL 库、表级查询
1. 查询数据库下所有表名、表注释 SELECT table_name,table_commentFROM information_schema.TABLES WHERE table_schema='库名'; 2. 查询表字段、注释、类型 SELECT comumn_name,column_comment,data_type  FROM INFORMATION_SCHEMA.Columns W...
MySOL中查询库中所有表
SELECT table_name FROM information_schema.tables WHERE table_schema = '当前数据库';
查询库中所有表中的字段
select concat(table_name,"&gt;&gt;",group_concat(COLUMN_NAME)) t from information_schema.COLUMNS where table_name in( select table_name from information_schema.tables where table_schema='databasenam...
两个表中的查询!!
两个表中又相同的字段,想查询出两个表中的所有字段rnselect *from dj where userid='ppp' union all select * from dj_gm where rnuserid='ppp'rn显示rn务器: 消息 206,级别 16,状态 2,行 1rn操作数类型冲突: ntext 与 datetime 不兼容rn服务器: 消息 205,级别 16,状态 1,行 1rn包含 UNION 运算符的 SQL 语句中的所有查询都必须在目标列表中具有相同数目的表达式。rnrn请高手帮忙!!rn
怎样在表中查询
两个表 rnA: 姓名 出生年月 纪念日 日期rn 张三 1985.10 ----- rn 李斯 1982.11 结婚纪念日 1999.10.11rnrnrnB: 事项 姓名 日期rn 生日 张三 1985.10rn 生日 李斯 1982.11rn 结婚纪念日 李斯 1999.10.11rnrnrn同上 请问怎样实现上边把A表中的所有记录按照这样的方式把信息添加到B表中,rn rnrnrnrn
查询不存在表中的
A表结构: | id | namernrn我现在有一些id,想查出这些id哪些不在A表中;rnrn有没有sql可以实现?rn
数据库的表中查询
在数据库中,从学生-课程表中去查找想要的东西。
表中COUNT(*) 查询
我有个库,库中有很多个用户自建的数据表。rn逐个查看大部分的表都是空表(无数据)。rnrn我通过何种方式能很快的找到一个有内容的表?rn或者能通过一种方式能排除所有空表,列出来有数据的表?rn是不是要用游标逐个的对表做查询才可以呀?
一个表中的查询
ID TYPE TIMErn1 0 2011-01-01 01:01:01rn2 0 2011-01-01 01:02:01rn3 1 2011-01-01 01:03:01rn4 1 2011-01-01 01:04:01rn5 0 2011-01-01 01:05:01rn6 0 2011-01-01 01:06:01rn7 0 2011-01-01 01:07:01rnrn求在表中按TIME DESC 后,TYPE为0的求和直至TYPE为1 结果为3rnrn请问用sql怎么实现
A表和B表的查询!
现有用户表A,有5个字段id, phone1,phone2,phone3,phone4,其中id 为主键,phone1不能为 null,其余3个可以为nullrn 通话记录表B,其中有个字段 guest_phone为客户电话,可能为phone1,phone2,phone3,phone4中的任一个rn 现有需求要查出某个用户的所有通话记录,该如何写呢?想了好久了.rn 用的是mysql数据库
这个可以做联表查询么
现在的数据库是这样的。针对不同权限的人。有两个不同的数据表。分别为GQ1 GQ2rnrn这两个表最终的数据要汇总到GQ_Total表中去。这个表只记录一些基本的信息。如该条信息标题,信息处于哪个表中,信息在那个表中的ID是多少。rnrnrn现在在做列表的时候,要读取一个在GQ_Total字段中不存在的数据,那么就要先从GQ_Total中读到表名gqtable和所在表的ID号gqid 然后再去查到的表中查询所要的数据ToTalNumrnrnrn这个过程可以合并成一个查询语句么?
两个表的联表查询
CREATE TABLE [dbo].[tableA](rn[ID] [bigint] IDENTITY(1,1) NOT NULL,rn[mCount] [int] NOT NULL DEFAULT ((0)),rn[mSMSstate] [bit] NOT NULL,rn[mName] [varchar](50) NOT NULLrn)rnrnrnCREATE TABLE [dbo].[tableB](rn[ID] [bigint] IDENTITY(1,1) NOT NULL,rn[sMsgId] [int] NOT NULL,rn[sRes] [int] NOT NULL,rn[sName] [varchar](50) NOT NULLrn) rnrnrninsert into dbo.tableA values(1,'True','test')rninsert into dbo.tableA values(2,'True','test')rninsert into dbo.tableA values(1,'True','test')rninsert into dbo.tableA values(1,'True','test')rninsert into dbo.tableA values(5,'False','test')rninsert into dbo.tableA values(1,'False','test')rninsert into dbo.tableA values(1,'True','test2')rninsert into dbo.tableA values(1,'True','test2')rninsert into dbo.tableA values(1,'False','test2')rnrninsert into dbo.tableB values(1,1,'test')rninsert into dbo.tableB values(1,1,'test')rninsert into dbo.tableB values(1,1,'test')rninsert into dbo.tableB values(1,1,'test')rninsert into dbo.tableB values(1,2,'test')rninsert into dbo.tableB values(1,2,'test')rninsert into dbo.tableB values(1,2,'test2')rninsert into dbo.tableB values(1,2,'test2')rnrnrn查询语句rnSelect r.mName,sum(r.mCount),sum(case when r.mSMSstate='True' then r.mCount end),count(s.ID),count(case when s.sRes=1 then s.ID end) From tableA as r left join tableB as s on s.sName=r.mName group by r.mName rnrnrn正确需要的结果应该为rnmName ASum ATSum Bcount BTcountrntest 11 4 6 4rntest2 3 2 2 0rnrn现在的结果确实查很远..rn表B算同一个Name的条数,而表A是要算同一个Name的mCount的和...(Name有多个的)rn并且表A跟表B的条数是不一样的主键ID就肯定不一样,其实最终的效果就是要下面的输出,将同一个Name的成为一行rnSelect s.sName,count(s.ID),count(case when s.sRes=1 then s.ID end) From tableB as s group by s.sName rnSelect r.mName,sum(r.mCount),sum(case when r.mSMSstate='True' then r.mCount end)From tableA as r group by r.mName rn
hive库中其中一个表不能执行查询操作
报错如下 :rnDiagnostic Messages for this Task:rnError: java.io.IOException: java.lang.reflect.InvocationTargetExceptionrn at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97)rn at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderCreationException(HiveIOExceptionHandlerUtil.java:57)rn at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:266)rn at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.(HadoopShimsSecure.java:213)rn at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileInputFormatShim.getRecordReader(HadoopShimsSecure.java:333)rn at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:720)rn at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.(MapTask.java:169)rn at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:432)rn at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)rn at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)rn at java.security.AccessController.doPrivileged(Native Method)rn at javax.security.auth.Subject.doAs(Subject.java:422)rn at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1785)rn at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)rnCaused by: java.lang.reflect.InvocationTargetExceptionrn at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)rn at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)rn at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)rn at java.lang.reflect.Constructor.newInstance(Constructor.java:423)rn at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:252)rn ... 11 morernCaused by: java.lang.IndexOutOfBoundsException: toIndex = 608rn at java.util.ArrayList.subListRangeCheck(ArrayList.java:1004)rn at java.util.ArrayList.subList(ArrayList.java:996)rn at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.getSchemaOnRead(RecordReaderFactory.java:161)rn at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.createTreeReader(RecordReaderFactory.java:66)rn at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl.(RecordReaderImpl.java:202)rn at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.rowsOptions(ReaderImpl.java:541)rn at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.createReaderFromFile(OrcInputFormat.java:232)rn at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$OrcRecordReader.(OrcInputFormat.java:165)rn at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getRecordReader(OrcInputFormat.java:1156)rn at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.(CombineHiveRecordReader.java:67)rn ... 16 morernrnrnFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTaskrnMapReduce Jobs Launched: rnStage-Stage-1: Map: 334 Reduce: 1 HDFS Read: 0 HDFS Write: 0 FAILrnTotal MapReduce CPU Time Spent: 0 msec
Oracle查询库中的所有表,表的字段等等操作
查询数据库的所有表 select * from user_tables  查询数据库的某个表名为XXX select * from user_tables  where tablespace_name = 'TIM_MIS_BASE' 查询所有表名: select t.table_name from user_tables t; 查询所有字段名: select t.column_na
informix 查询库中所有表,不包括系统表和视图
如题rn我想得到不包括系统表和视图的其他的表的表名rnselect tabname from systables where tabid>99rn这个能查询除不包括系统的所有表,但是包括了视图rnselect tabname from systables where tabid>99 and tabtype='T'rn但是这个还是包含了一些其他的表rn我想查找通过DATA Studio查询出来的tables下的表rnrnrn就是想查询用户自己建的表
access 表中关联表查询问题
table1rnrn字段 id theme FileId MemoIdrn数据 1 x1 1 2rn数据 2 x2 3 0rnrnrntable2rnrn字段 id style inforn数据 1 file info1rn数据 2 memo info2rn数据 3 file info3rnrn想要查询后显示下面信息rnrntable1.id table1.theme table2.info table2.inforn 1 x1 info1 info2rn 2 x2 info3 (空)rnrn我现在sql语句是这么写的:rnselectrn a.id, a.theme, b.info, c.infornformrn table1 a left join table2 b on a.fileid = b.idrnleft joinrn table2 c on a.memoid = c.idrnrn但有问题。该怎么写呢?
hive表之桶表
hive表之桶表桶表是对数据进行哈希取值后,对桶数取余,根据余数放到不同的文件中进行存储,比如可以针对表中某一列进行哈希,这样可以降低系统的热块,提高查询速度举例 hive&amp;gt;create table bucket_table(sid int,sname string,age int) cluster by(sname) into 5 buckets;    ...
库中个别表查询速度慢
最近系统中几个表的查询速度变的非常慢,严重影响到了用户的操作。这几个表的数据量在2万条左右,之前一直很正常,最近突然变慢。请问会有哪些问题导致的,谢谢
查询时表前缀的问题
我在查询时,如果数据库名以数字开头,那么查询会出错,比如rn[code=SQL]rnselect * from 1test.sys.database_filesrn[/code]rn这样子,会报错“对象名 '1test.sys.database_files' 无效。”rnrn怎么解决?rnrn另外我试了 rn[code=SQL]rnselect * from [1test].sys.database_filesrn[/code]rn这样也不行
a表中的查询结果作为b表查询的条件
select * from table1 A,(select * from table2 where aid = ~id~ limit 0,30) B WHERE A.title like CONCAT('%',B.F1,'%')rnrn其中单独查询:select * from table2 where aid = ~id~ limit 0,30 输出结果为:三,李rn如果执行查询:select * from table1 where teble1.title like '%三%' or teble1.title like '%李%' limit 0,10 则可以正常获取数据rnrn为何将select * from table2 where aid = ~id~ limit 0,30查询结果放到select * from table1 where teble1.title like '%三%' or teble1.title like '%李%' limit 0,10来查询时什么都查询不到呢?错在哪?请各位大大不吝赐教!!!!
查询informix的什么系统表可以得知数据库中的表
有关于informix系统表这方面的资料吗?谢谢!
了解MySQL联表查询中的驱动表,优化查询,以小表驱动大表
一、为什么要用小表驱动大表 1、驱动表的定义 当进行多表连接查询时, [驱动表] 的定义为: 1)指定了联接条件时,满足查询条件的记录行数少的表为[驱动表] 2)未指定联接条件时,行数少的表为[驱动表](Important!) 忠告:如果你搞不清楚该让谁做驱动表、谁 join 谁,请让 MySQL 运行时自行判断 既然“未指定联接条件时,行数少的表为[驱动表
SQL查询,三表查询
部门表(部门ID,部门名称)rn下级部门表(部门ID,下级部门ID)rn员工表(员工ID,姓名)rnrn查询员工(例如张三)所在部门以及下级部门所有员工信息.
sql查询同表查询
我有一张rnuser表rnid namern其中name中可以有相同名称的如:张三,张三rn我要把name相同值的数据查询出来rnsql怎么写?
Hive分桶表及抽样查询
抽样查询对于非常大的数据集,用户不需要全部查询的结果,只需要一个代表性的查询结果时,可以通过对表进行分桶抽样。 Hive桶 先介绍一下Hive桶。 桶是比表或分区更为细粒度的数据范围划分。针对某一列进行桶的组织,对列值哈希,然后除以桶的个数求余,决定将该条记录存放到哪个桶中。 好处: 1、获得更高的查询处理效率。 2、使抽样更高效。 创建带桶的table: create table
hive 表查询外部数据的hdfs路径
需要查看hive表对应的hdfs 数据路径 desc formmatted table_name 查询结果为空,主要原因是外部加载的数据,可以使用 describe extended table_name partition(dt='20180101')  ...
相关热词 c#部署端口监听项目、 c#接口中的属性使用方法 c# 昨天 c#func链接匿名方法 c#怎么创建文件夹 c#从键盘接收空格 c#da/ad c#部门请假管理系统 c#服务器socket c# 默认的访问修饰符