用Hive load数据到表里面,load成功之后无法进行select 10C

各位大侠,我在hive 的beeline下,新建了一个表test,创建语句如下:

beeline->create table u_data(colname string);

beeline->select * from u_data;(现在这个select可以运行)

之后把hdfs上/hive/warehouse/u_data.txt load到这个表里面,test.txt只有一行数据一个单词:“test”,语句如下:

beeline->load data inpath '/bigdata/apache-hive-2.2.0-bin/conf' into table test;

返回结果成功

接下来运行:

beeline->select * from u_data;

报错了:Error:java.io.Exception:java.io.IOException:java.lang.reflect.UndeclaredThrowableExcetpion;

尝试了好多遍了,都是在我load完数据之后,select就会报错,没load数据,表为空的时候select就没有问题。

因为公司的系统好复杂,我刚开始用不知道去那里看hive 日志。。有哪个好心人给个提示吗?感激!

3个回答

load data inpath '/hive/warehouse/u_data.txt'

inpath路径写的不对吧

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
用Hive load数据到表里面,load成功之后无法进行selec
各位大侠,我在hive 的beeline下,新建了一个表test,创建语句如下:rnbeeline->create table u_data(colname string);rnbeeline->select * from u_data;(现在这个select可以运行)rn之后把hdfs上/hive/warehouse/u_data.txt load到这个表里面,test.txt只有一行数据一个单词:“test”,语句如下:rnbeeline->load data inpath '/bigdata/apache-hive-2.2.0-bin/conf' into table test;rn返回结果成功rn接下来运行:rnbeeline->select * from u_data;rn报错了:Error:java.io.Exception:java.io.IOException:java.lang.reflect.UndeclaredThrowableExcetpion;rn尝试了好多遍了,都是在我load完数据之后,select就会报错,没load数据,表为空的时候select就没有问题。rn因为公司的系统好复杂,我刚开始用不知道去那里看hive 日志。。有哪个好心人给个提示吗?感激!
【Hive】load数据,跳过第一行
一、语句 在建表时,进行如下参数设置。 tblproperties( "skip.header.line.count"="n", --跳过文件行首n行 "skip.footer.line.count"="n" --跳过文件行尾n行 ) 二、举例 create table test ( id int commet 'id', name string commet '姓名' )...
向hive中load数据
hive中如果有分区的话,如果是需要自己构造数据且不知道是否有分区,可以使用这条语句看是否有分区: show create table tabletest; tabletest为需要看是否有分区的表,执行这条语句之后会有这样一条出来: PARTITIONED BY ( ****** string) ,****** 即为分区的字段,string为该字段的数据类型,如果没有打印这个语句的话证明这个表...
hive 建表与 load语法
hive 建表语法 内部表: create table fzname (id int,name string,age int,tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 外部表: create external table fz_external_name(id int,...
Hive的数据导入——Load语句
一 语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)] 二 表 hive> desc t2; OK tid int tname string age int Time taken: 2.176
Hive 使用Load加载数据
首先需要在hive上建表. CREATE TABLE Load( key STRING , value STRING ) row format delimited fields Terminated by ' ' lines terminated by '\n' stored AS textfile location 'oss://icsoc-emr-hadoop/cti-backu...
hive把本地的数据文件load导入到表
以下实例都是从本地导入: hive> load data local inpath 'sales_info.txt' overwrite into table sales_info partition(dt='2019-04-26'); 导入后本地的原数据文件依然存在,相当于复制过去;如果是从hdfs导入,则原数据文件不存在,相当于剪切过去。 实例1: 建表语句(不带分区字段,用逗号...
hadoop hive 分区表load至新表
hadoop hive 分区表load至新表
使用eclipse连接hive成功,load数据出现MoveTask问题
public class hiveServer2 rn public static class HiveJdbcClient rn rn //private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; rn private static final String driverName = "org.apache.hive.jdbc.HiveDriver"; rn private static final String url = "jdbc:hive2://192.168.12.10:10000/default"; rn private static final String user = "hive"; rn private static final String password = "hive"; rn private static String sql; rn private static ResultSet res; rn private final static Logger log = Logger.getLogger(HiveJdbcClient.class); rn rn public static void main(String[] args) rn try rn Class.forName(driverName); rn Connection conn = DriverManager.getConnection(url, user, password); rn // 默认使用端口10000, 使用数据库default,用户名为hive,密码为hive rn // Connection conn = DriverManager.getConnection( rn // "jdbc:hive://192.168.12.10:10000/defaultrn Statement stmt = conn.createStatement(); rn rn sql = " load data inpath '/test/table/test1/part-m-00000' INTO TABLE test1 partition(dt='20160000')";//load数据rn System.out.println("Running:" + sql); rn res = stmt.executeQuery(sql); rn System.out.println("执行结果:"); rn while (res.next()) rn System.out.println(res.getString(1)); rn rn rn conn.close(); rn conn = null; rn catch (ClassNotFoundException e) rn e.printStackTrace(); rn log.error(driverName + " not found!", e); rn System.exit(1); rn catch (SQLException e) rn e.printStackTrace(); rn log.error("Connection error!", e); rn System.exit(1); rn rn rn rn rnrn报错:rnjava.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTaskrn at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:283)rn at org.apache.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:378)rn at com.ssmhbase.sample.hiveServer2$HiveJdbcClient.main(hiveServer2.java:34)rn17:57:47.384 [main] ERROR com.ssmhbase.sample.hiveServer2$HiveJdbcClient - Connection error!rnjava.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTaskrn at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:283) ~[hive-jdbc-2.0.0.jar:2.0.0]rn at org.apache.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:378) ~[hive-jdbc-2.0.0.jar:2.0.0]rn at com.ssmhbase.sample.hiveServer2$HiveJdbcClient.main(hiveServer2.java:34) [classes/:?]rn代码测试没错误,换成别的sql比如建表语句,insert语句,都正常rn一换成load语句就报错,但是把load语句的sql粘到hive里直接运行,一切正常,这是什么问题啊?
验证hive load装载数据的overwrite参数
操作过程hive> select count(*) from test;2018-05-25 11:08:40,651 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 61.19 secMapReduce Total cumulative CPU time: 1 minutes 1 seconds 190 msecEnded Job = ...
hive建表并load数据小结
2019独角兽企业重金招聘Python工程师标准>>> ...
Load 当地数据到Hive的Shell错误
FAILED: ParseException line 2:23 mismatched input '/' expecting StringLiteral near 'inpath' in load statement 这是错误原文,意思是: 在load语句中 输入的 '/'不匹配。希望在inpath后面加入字符串 HIVE=/usr/bin/hive db_name=test inpath...
Hive学习 第四课 创建表并load 数据到表
本章将介绍如何创建一个表以及如何将数据插入。创造表的约定在Hive中非常类似于使用SQL创建表。 CREATE TABLE语句 Create Table是用于在Hive中创建表的语句。语法和示例如下: 语法 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name [(col_name data_t
kettle如何将关系型数据库中的数据load到hive中的表中去
如题,最近在做etl数据清洗,用到kettle这个工具,现在想把MySQL中某个表的数据输出到hive中与之对应的表中去,请问如何实现?
07.编写load数据到hive原生表供调度使用
本章节为大数据架构师课程的综合案例课程,大数据生态体系庞大,通过本章节综合案例的讲授,你可以轻松的掌握综合案例技术,掌握本节内容后可以胜任企业级的开发,形成良好的大数据企业开发思维。 这套综合案例绝对三脚猫功夫,真正用心打磨出来,帮助更多的大数据技术爱好者少走弯路。n购买课程后加入qq群 831186576 (备注订单号后四位)
load完数据之后数据库空间混乱
我dump了数据之后在另外一部新机器load,发现load的结果是那些已用空间、可用空间信息居然跟原来没有dump之前的数据一样,几个空间加起来是30G,跟我原来的旧机器分给这个库的容量一样。但是我新机器是分了60G的啊~~!是不是会浪费掉30G啊?rn 而且我新机器原来分给数据库两个数据存储设备和两个LOG存储设备,LOAD完之后数据存储设备居然变成了data and log存储设备了。真郁闷啊~~!rn 有人说用dump/load的话新旧机器上的存储方式是一样不会变。如果是的话能不能补救呢?
load 无法导入
问题:rn新装了一台数据服务器是用原来的服务器上backup下来的文件直接恢复的,恢复过程中都没有问题一切正常。rn但是在执行load的时候会报找不到文件、而且导致数据库处与backup pending,load的文件是从原来的服务器上传过来的并且在旧服务器上执行相同的load操作不会出现前面的问题,哪位大神来帮我下
为什么无法load class
在同一个package底下建立了两个类Class1,和Class2rn在Class1的函数中写下: rnrnClass clazz2 = ClassLoader.getSystemClassLoader().loadClass("Class2");rn运行时报错:Exception in thread "main" java.lang.ClassNotFoundException: Class2rn at java.net.URLClassLoader$1.run(URLClassLoader.java:200)rn at java.security.AccessController.doPrivileged(Native Method)rn at java.net.URLClassLoader.findClass(URLClassLoader.java:188)rn at java.lang.ClassLoader.loadClass(ClassLoader.java:307)rn at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)rn at java.lang.ClassLoader.loadClass(ClassLoader.java:252)rn at Package1.Class1.main(Class1.java:20)rnrn同一位置,如果改成:rnClass clazz2 = Class2.class;rn就对了rnrn为什么?
hive使用load加载数据1.0
安装hive 直接操作hive [code="java"]create table if not exists L_EMPLOYEE (eid int,name String,salary String,destination String) COMMENT 'Employee details' ROW FORMAT delimited fields terminated by '\t...
Hive数据操作Load方式加载数据
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
Hive数据操作_Load方式加载数据
<span style="color:#404040;">Hive是基于Hadoop的一个数据仓库工具,将繁琐的MapReduce程序变成了简单方便的SQL语句实现,深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿起来。</span>
XMLDOM无法把xml数据load进来?
<%rndim xmlhttp,xmldocrnset xmlhttp = Server.CreateObject("MSXML2.XMLHTTP")rnxmlhttp.open "POST","test.asp",falsernxmlhttp.send "id=1"rnif xmlhttp.readyState=4 thenrn set xmldoc = Server.CreateObject("MSXML2.DOMDocument")rn xmldoc.load xmlhttp.responseXMLrn xmldoc.async = falsern response.write xmldoc.xmlrnend ifrn%>rn可是response.write xmldoc.xml无法显示啊,如果用response.write xmlhttp.responseText就可以显示出结果,请问这是为什么啊?
oracle怎样load数据???
oracle怎样load数据???
收集load失败的数据
在load del文件时候发生有很多数据load到数据库失败。想知道怎么查看那些load失败的数据是哪些?有没有啥参数是把load失败的数据导入到一个文件中的。
DB2 LOAD 大量数据
DB2向表里面LOAD大量数据的时候,有的时候可以成功加载,有的时候加载失败,表状态变成3,select 这个表都不可以,是什么原因,怎么解决啊???
水晶报表Load不出数据?!
用的是Crystal Report9.2,问题是:rn通过一个存储过程Load数据,实际上Table是有数据的,但报表总是为空,为什么?
unload 和 load数据问题
从生产环境unload to file1rnwc -l file1 显示20W行rn测试环境先truncate table ,再load ,显示199998条数据,执行count(*)=199998 rn再在测试环境unload to file2 wc -l file2 显示20W行,不知道是什么原因。
jquery load数据
最近正在研究jquery出现了一点问题,我的显示页面a.php用$("#stm1").load('0706.php #stm1');$("#stm2").load('0706.php #stm2');.....$("#stm100").load('0706.php #stm100');这样的方式加载0706.php中的数据,0706.php的数据以 来标识,在load中出现了在显示页面中的100个数据一个一个显示,速度有点不统一,该怎么解决求思路和代码实现rn或者在0706.php中有一个数组,数据为1010101111,将这个数组中变化的十个数据分别load进a.php中的 stm1 stm2 ...stm10中,该怎么实现
用load时
总是感觉数据导入不完整。rn我的 ImpDb.txt 大概有 60多w行,但是我导入完毕后mysql系统提示 “受影响的行: 56665”我rn不知道那里的问题,应该怎么排查啊,是否有些行不正确导致不导入,但是我怎么排错呢?麻烦大家给我讲讲啊!rnrnrnrn我执行的命令如下:rnLOAD DATA INFILE 'H:/ImpDb.txt' INTO TABLE tabA CHARACTER SET gbk FIELDSrn TERMINATED BY '|' LINES TERMINATED BY '\n'rn (f1,f2,f3,f4,f5,f6,f7)
用xml的load()
用xml的load()方法可以装载网络上的xml文件吗????rnrn具体怎么操作???rn
用select怎么在表里面提取数据
在一张表里面有id和number两个字段。知道id怎么把相应的id 对应的number取出来,并赋值给一个申请好的变里,谢谢指教!
hive load数据后,数据被搬移,问题解决
现象:1、我们先上传一个文件$]hdfs dfs -put testdata.txt    /data/2、hive 建表hive&amp;gt;create external table if not exists data.testtable like dat.testtableori;3、load数据hive&amp;gt;load data inpath '/data/' into table testt...
Ext Store的load无法传参数
var sceneStore=new Ext.data.Store(rn url:'/book/scene',rn // root:'scenes',rn fields:['id','name','text','line','module']rn );rn sceneStore.on('load',function()rn alert(sceneStore.getCount());rn scene=sceneStore.getAt(0);rn alert(scene.get('name'));rn );rnrn之后调用sceneStore.load(),服务器端是能接到请求的。rn但是一旦给load方法加上参数,例如以下途径:rn1) sceneStore.load(params:sceneId:1);rn2) sceneStore.baseParams.sceneId=1rn3) sceneStore.on('beforeload',function(store)rn store.baseParams.sceneId=1;rn );rn服务器端都没接到请求了。rn如果把url写成rn'/book/scene?sceneId=1'能接到请求,但是没有找到sceneId参数rnrn我的server端是rails,使用UTF-8编码rn客户端使用extjs 2.2.1rn :cry: rnn[b]问题补充:[/b]n"productOrderIn.custFileNo"这是什么意思啊?n[b]问题补充:[/b]n还是老样子,不行...会不会是rails的问题?rnrails的控制台只显示“http://localhost:3000/book -> /book/scene”rn但是就是没进入scene方法。rnrn但是如果在定义datastore时将URL写为url:'/book/scene?sceneId=1', 请求时控制台显示正常如下:rnhttp://localhost:3000/book -> /book/scene?sceneId=1&_dc=1238409628055rnrn顺便问一下你用的是rails吗?n[b]问题补充:[/b]n已经解决。是rails防止跨站攻击的安全屏蔽问题。取消了这个安全屏蔽就ok了。
hibernate 中一添加关系如(mone-to-one),在load中就无法load
如题:rn 在load时如果没有关系 session.load(catecory.class,new Long(id));无任何问题。rn但是比较郁闷的是一旦有关系。就报错,我的自反关系。配置文件由myeclipse自动生成,其它同事使用的hibernate和我的写法一模一样。没问题,我都吐血]。rn报错信息如下;myeclipse 中rnrnlog4j:WARN No appenders could be found for logger (net.sf.hibernate.cfg.Environment).rnlog4j:WARN Please initialize the log4j system properly.rnnet.sf.hibernate.exception.GenericJDBCException: could not load: [com.huilin.Category#1]rn at net.sf.hibernate.exception.ErrorCodeConverter.handledNonSpecificException(ErrorCodeConverter.java:90)rn at net.sf.hibernate.exception.ErrorCodeConverter.convert(ErrorCodeConverter.java:79)rn at net.sf.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:30)rn at net.sf.hibernate.persister.AbstractEntityPersister.convert(AbstractEntityPersister.java:1332)rn at net.sf.hibernate.persister.EntityPersister.load(EntityPersister.java:418)rn at net.sf.hibernate.impl.SessionImpl.doLoad(SessionImpl.java:2130)rn at net.sf.hibernate.impl.SessionImpl.doLoadByClass(SessionImpl.java:2000)rn at net.sf.hibernate.impl.SessionImpl.get(SessionImpl.java:1936)rn at com.huilin.BusinessService.findCategory(BusinessService.java:44)rn at com.huilin.BusinessService.test(BusinessService.java:26)rn at com.huilin.BusinessService.main(BusinessService.java:89)rnCaused by: java.sql.SQLException: ORA-00933: SQL 命令未正确结束rnrn at oracle.jdbc.dbaccess.DBError.throwSqlException(DBError.java:168)rn at oracle.jdbc.ttc7.TTIoer.processError(TTIoer.java:208)rn at oracle.jdbc.ttc7.Oall7.receive(Oall7.java:543)rn at oracle.jdbc.ttc7.TTC7Protocol.doOall7(TTC7Protocol.java:1405)rn at oracle.jdbc.ttc7.TTC7Protocol.parseExecuteDescribe(TTC7Protocol.java:643)rn at oracle.jdbc.driver.OracleStatement.doExecuteQuery(OracleStatement.java:1674)rn at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1870)rn at oracle.jdbc.driver.OraclePreparedStatement.executeUpdate(OraclePreparedStatement.java:363)rn at oracle.jdbc.driver.OraclePreparedStatement.executeQuery(OraclePreparedStatement.java:314)rn at net.sf.hibernate.impl.BatcherImpl.getResultSet(BatcherImpl.java:88)rn at net.sf.hibernate.loader.Loader.getResultSet(Loader.java:875)rn at net.sf.hibernate.loader.Loader.doQuery(Loader.java:269)rn at net.sf.hibernate.loader.Loader.doQueryAndInitializeNonLazyCollections(Loader.java:133)rn at net.sf.hibernate.loader.Loader.loadEntity(Loader.java:911)rn at net.sf.hibernate.loader.Loader.loadEntity(Loader.java:931)rn at net.sf.hibernate.loader.EntityLoader.load(EntityLoader.java:59)rn at net.sf.hibernate.loader.EntityLoader.load(EntityLoader.java:51)rn at net.sf.hibernate.persister.EntityPersister.load(EntityPersister.java:415)rn ... 6 more
用load data从文件插数据到表的时候 主键不起作用?
我的文件里面有主键重复的数据,LOAD DATA的时候没报错,而是直接把重复的记录覆盖掉了
jQuery中load()进行异步请求
load(url,【data】,function(){}); 其中 url 加载的服务器地址 data 请求时发送的数据 function 成功调用load后的回调函数 ps:如果在url有指定的元素标签, 添加到url后面即可。比如请求”http://www.imooc.com/data/fruit_part.html“中的所有li元素,那么url=”http://www.imooc.c
LOAD出错,表不能访问
load client from 'd:\table.ixf' of ixf insert into table错误:SQL3501W 由于对数据库禁用了正向恢复,因此,表所驻留的表空间将不会处于备份暂挂状态。...随后,table不能访问,原因错误码“3”LOAD CLIENT FROM D:\空文件.TXT OF DEL TERMINATE INTO TABLE表状态正常(表数据还在)...
Ext.data.JsonStore在load之后没有数据,但是响应显示有数据...
代码非常简单:rn[code="java"]rnExt.onReady(function()rn var store = new Ext.data.JsonStore(rn proxy:new Ext.data.HttpProxy(url:'comment!getCommentList.action'),rn baseParams:'topicId':'package_2=2-1-1',rn reader:new Ext.data.JsonReader(rn totalProperty: "totalCount",rn root: "commentList",rn id: "ID",rn [name: 'topicId', mapping: 'TOPIC_ID']rn )rn );rn store.load();rn alert(store.getAt(0));rn);rn[/code]rnrnalert的时候是没有数据的.rn但是我用findbugs却发现响应是我想要的:rn[img]/upload/attachment/133887/4492ce95-8b97-301d-9065-c1db4e1804eb.jpg[/img]rnrn响应中的数据,我怎么load不到呢??为什么?rnrnrnrn补充,生产响应大概是这样:rn[rn totalCount:1,rn commentList:rn [rn USER_ID:001,rn CONTENT:我是ADMIN,我最大,rn USER_NAME:Admin,rn ID:19,rn TOPIC_ID:package_2=2-1-1,rn TOPIC_NAME:AABBCCrn ]rn]n[b]问题补充:[/b]n//----------------------------------------------------rnrn提示,我把JsonStore改成Store就好了..rn晕了~rn还有,返回的数据格式是rnrn total:100,rn root:rn [...,...,...]rnrn形式的.rn我的json格式也不对.rnrn就准备结帖了.rnrn哪为大大能告诉我下.为什么Store可以,JsonStore就不行了,他们难道不是继承关系么~
hive ,从hdfs把数据文件load导入到表
hive&gt; load data inpath 'hdfs://ns1/abc/sales_info/hello/sales_info.txt' overwrite into table sales_info partition(dt = '2019-04-26'); 原数据文件(已经不存在了,是从原路径移动到了新路径下): 建表语句: CREATE TABLE `sales_info...
创建hive表和使用Load data指令导入数据的注意事项
创建hive表和使用Load data指令导入数据的注意事项(一)创建hive数据库和表1.1 类似于MySql创建命令,创建数据库和表,并指定它在hdfs上的存储数据的目录'/hive_hdfs_local_data‘hive&amp;gt; CREATE DATABASE yyz_workdb; hive&amp;gt; create external table test_user( &amp;gt; us...
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法