在其他服务器的hive集群上查数据

描述:服务器a里有hive,可以查询数据,服务器b里有hive,也可以查数据,a和b属于不同的集群,hive里的东西不一样,可以从a连上b,即两台服务器的网是互通的。
需求:我想在服务器a里写一个shell,去查服务器b里的hive里的数据(脚本无论如何都想写在服务器a上)
有描述不清的可以再问,求大神指点,谢谢

2个回答

脚本里写ssh登录到b,提前配置一下免密登录,后面写查询语句即可

那你就使用expect 去写shell就可以了,这个肯定可以满足你的需求的

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
presto集群连接其他集群的hive和hdfs问题

我现在有一个presto集群.和一个hive集群. 在我的presto集群的/etc/hosts中 没有hive集群的ip与主机名映射,只有presto集群自己的映射 比如说我的presto集群的hosts文件是 * 192.168.1.1 presto1 * 192.168.1.2 presto2 * 192.168.1.3 presto3 hive集群的hosts文件是 * 190.192.1.1 hive1 * 190.192.1.2 hive2 * 190.192.1.3 hive3 元数据服务是在hive3 我presto配置的hive.metastore.uri=thrift//hive3:9083 (190.192.1.3:9083)也试过. 报以下错误: ![图片说明](https://img-ask.csdn.net/upload/202002/23/1582459307_296226.jpg) 个人感觉应该是没有映射. 所以是unknowhost.. 请问.能让presto集群 识别 hive集群的主机名呢?

spark2.3.3跨集群读取hive2.4.2

问题描述: 旧集群为spark2.1.0,hive2.4.2。新集群为cdh的spark2.3.3+hive3.0.0。hdfs不在一起。我尝试用spark2.3.3去读旧集群的hive2.4.2。在spark-submit的时候--files添加了 hive-site.xml。 里面定义了 ``` spark.sql.warehouse.dir=hdfs://master:9000/apps/hive/warehouse hive.metastore.uris=thrift://master:9083 ``` 这里的master为旧集群的地址。 当我将依赖包打进要执行的jar的时候执行抛出如下异常: ``` class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator ``` 而当我仅执行original的jar包, 依赖包选择spark-submit --jars的方式引入时,则抛出这个异常 ``` org.apache.thrift.TApplicationException: Invalid method name: 'get_all_functions' ```

ambari下安装的hive但是在服务器上执行hive进不去hive数据库

我已经找到了这个属性,并在hive下找到了这个文件,应该是存在的,重启整个集群还是没用,求解 ![就是卡在这里,报hdfs上不存在这个设置](https://img-ask.csdn.net/upload/201711/02/1509587755_807893.png) ![图片说明](https://img-ask.csdn.net/upload/201711/02/1509587972_550723.png) ![图片说明](https://img-ask.csdn.net/upload/201711/02/1509587989_968838.png)

hive多表关联查询问题

环境: yun01-nn-01 192.168.56.11 namenade yun01-nn-02 192.168.56.12 namenade yun01-dn-01 192.168.56.13 datanade yun01-dn-02 192.168.56.14 datanade 192.168.56.110 安装mysql 4台服务器安装了hadoop2.6+zookeeper3.4.5+hbase1.0+hive2.0,1台服务器安装mysql 启动集群,在yun01-nn-01启动hive元数据库: hive --service metastore 在yun01-dn-01上启动客户端: hive 在客户端进行建表和单表查询没问题,但多表关联查询就卡住不动,后台: 2016-05-08T23:32:49,842 INFO [7b84a70c-3d54-44e6-b7ea-10a030a5bcdd 7b84a70c-3d54-44e6-b7ea-10a030a5bcdd main]: ipc.Client (Client.java:handleConnectionFailure(858)) - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 求解

Hbase在hive中的映射表作为分区表查询障碍

首先我在Hbase中建了一张空表t1; 在hive中新建一张**外部分区表**使用HBaseStorageHandler与表t1映射起来; hive中插入一条分区数据,hive中存在1条数据,Hbase中一条; hive中插入第2,3,4,5条分区数据,**hive中存在25条数据,Hbase中5条**;why? 另外hive中select查询带第一个分区条件查询数据竟然显示全部数据??所以分区表和映射表同时使用无意义??![图片说明](https://img-ask.csdn.net/upload/201611/16/1479264006_91643.png)

springMVC的项目如何连接hive进行分页查询?

刚接触hive,不知道在项目中如何连接hive分页查询一张表的数据,最好有详细代码或小案例,急需!!! 谢谢

用Hive load数据到表里面,load成功之后无法进行select

各位大侠,我在hive 的beeline下,新建了一个表test,创建语句如下: beeline->create table u_data(colname string); beeline->select * from u_data;(现在这个select可以运行) 之后把hdfs上/hive/warehouse/u_data.txt load到这个表里面,test.txt只有一行数据一个单词:“test”,语句如下: beeline->load data inpath '/bigdata/apache-hive-2.2.0-bin/conf' into table test; 返回结果成功 接下来运行: beeline->select * from u_data; 报错了:Error:java.io.Exception:java.io.IOException:java.lang.reflect.UndeclaredThrowableExcetpion; 尝试了好多遍了,都是在我load完数据之后,select就会报错,没load数据,表为空的时候select就没有问题。 因为公司的系统好复杂,我刚开始用不知道去那里看hive 日志。。有哪个好心人给个提示吗?感激!

hive无法进行条件查询

用hive可以建表,执行不加条件的查询可以,如select * from t_hive;如果加上条件进行查询则失败,如select * from t_hive where a>30;则失败;执行过程如下: hive> show tables; OK t_hive t_hive2 t_hive3 Time taken: 0.058 seconds, Fetched: 3 row(s) hive> select * from t_hive; OK 16 2 3 61 12 13 41 2 31 17 21 3 71 2 31 1 12 34 11 2 34 Time taken: 0.156 seconds, Fetched: 7 row(s) hive> select * from t_hive where a>30; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_1401172375533_0024, Tracking URL = http://master:8088/proxy/a pplication_1401172375533_0024/ Kill Command = /home/omeesas/software_setup/hadoop-2.4.0/bin/hadoop job -kill j ob_1401172375533_0024 Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0 2014-06-11 11:56:46,067 Stage-1 map = 0%, reduce = 0% Ended Job = job_1401172375533_0024 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Ma pRedTask MapReduce Jobs Launched: Job 0: HDFS Read: 0 HDFS Write: 0 FAIL Total MapReduce CPU Time Spent: 0 msec hive> web查看Hadoop错误日志如下: Application application_1401172375533_0020 failed 2 times due to AM Container for appattempt_1401172375533_0020_000002 exited with exitCode: -1000 due to: java.io.FileNotFoundException: File /tmp/hadoop-root/nm-local-dir/filecache does not exist .Failing this attempt.. Failing the application. 我新建了上如路径和文件,仍然不行。 有没有遇到或者知道如何解决的,跪求方法!谢谢!

【急】hive表数据太多,普通的查询语句都用不了,求解决【应该很简单】

之前做项目用的hive,本来功能什么的都好了,但是测试的时候不知道王里面加了多少数据,可能有5000W条,一张表。 然后我现在用select * from tablename,或者select count(1) from tablename,根本就没有反映,一直在loding 用select * from tablename limit 1,1,就可以出来结果 请问这是杂回事情,怎么优化?是不是内存不足??? **求帮忙,今天我一定得解决这个问题阿** 我是用java 的jdbc来操作的,换到beeline上执行也是一样,一直loading

hive随机抽取数据,保证数据随机性

在hive中随机抽取1000条数据,保证数据的随机性,确保两次抽取数据的不一致。

hive能查到数据,但是presto查询时报错

在hive中查询时可以查到数据,没有问题,但是用presto查询时会报错: ``` java.lang.IllegalArgumentException: Unsupported encoding timestamp ``` 具体的错误信息如下: ```SQL 错误 [16777217]: Query failed (#20190723_075844_00196_8ifu8): Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f Query failed (#20190723_075844_00196_8ifu8): Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f Query failed (#20190723_075844_00196_8ifu8): Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f com.facebook.presto.spi.PrestoException: Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f java.lang.IllegalArgumentException: Unsupported encoding timestamp Unsupported encoding timestamp ``` 还有这个错误: ``` SQL 错误 [65536]: Query failed (#20190723_075845_00197_8ifu8): outputFormat should not be accessed from a null StorageFormat ``` 具体如下: ``` org.jkiss.dbeaver.DBException: SQL 错误 [65536]: Query failed (#20190723_075845_00197_8ifu8): outputFormat should not be accessed from a null StorageFormat at org.jkiss.dbeaver.model.impl.jdbc.cache.JDBCStructCache.loadChildren(JDBCStructCache.java:176) at org.jkiss.dbeaver.model.impl.jdbc.cache.JDBCStructCache.getChild(JDBCStructCache.java:230) at org.jkiss.dbeaver.ext.generic.model.GenericTable.getAttribute(GenericTable.java:164) at org.jkiss.dbeaver.ext.generic.model.GenericTable.getAttribute(GenericTable.java:1) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetUtils.bindAttributes(ResultSetUtils.java:161) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetDataReceiver.fetchEnd(ResultSetDataReceiver.java:159) at org.jkiss.dbeaver.model.impl.jdbc.struct.JDBCTable.readData(JDBCTable.java:222) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetJobDataRead.lambda$0(ResultSetJobDataRead.java:93) at org.jkiss.dbeaver.model.DBUtils.tryExecuteRecover(DBUtils.java:1553) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetJobDataRead.run(ResultSetJobDataRead.java:91) at org.jkiss.dbeaver.model.runtime.AbstractJob.run(AbstractJob.java:95) at org.eclipse.core.internal.jobs.Worker.run(Worker.java:60) Caused by: java.sql.SQLException: Query failed (#20190723_075845_00197_8ifu8): outputFormat should not be accessed from a null StorageFormat at com.facebook.presto.jdbc.PrestoResultSet.resultsException(PrestoResultSet.java:1840) at com.facebook.presto.jdbc.PrestoResultSet$ResultsPageIterator.computeNext(PrestoResultSet.java:1820) at com.facebook.presto.jdbc.PrestoResultSet$ResultsPageIterator.computeNext(PrestoResultSet.java:1759) at com.facebook.presto.jdbc.internal.guava.collect.AbstractIterator.tryToComputeNext(AbstractIterator.java:141) at com.facebook.presto.jdbc.internal.guava.collect.AbstractIterator.hasNext(AbstractIterator.java:136) at com.facebook.presto.jdbc.internal.guava.collect.TransformedIterator.hasNext(TransformedIterator.java:42) at com.facebook.presto.jdbc.internal.guava.collect.Iterators$ConcatenatedIterator.getTopMetaIterator(Iterators.java:1319) at com.facebook.presto.jdbc.internal.guava.collect.Iterators$ConcatenatedIterator.hasNext(Iterators.java:1335) at com.facebook.presto.jdbc.PrestoResultSet.next(PrestoResultSet.java:144) at org.jkiss.dbeaver.model.impl.jdbc.exec.JDBCResultSetImpl.next(JDBCResultSetImpl.java:284) at org.jkiss.dbeaver.model.impl.jdbc.cache.JDBCStructCache.loadChildren(JDBCStructCache.java:102) ... 11 more Caused by: java.lang.IllegalStateException: outputFormat should not be accessed from a null StorageFormat at com.facebook.presto.hive.metastore.StorageFormat.getOutputFormat(StorageFormat.java:62) at com.facebook.presto.hive.HiveMetadata.extractHiveStorageFormat(HiveMetadata.java:2214) at com.facebook.presto.hive.HiveMetadata.getTableMetadata(HiveMetadata.java:459) at com.facebook.presto.hive.HiveMetadata.listTableColumns(HiveMetadata.java:564) at com.facebook.presto.spi.connector.classloader.ClassLoaderSafeConnectorMetadata.listTableColumns(ClassLoaderSafeConnectorMetadata.java:262) at com.facebook.presto.metadata.MetadataManager.listTableColumns(MetadataManager.java:556) at com.facebook.presto.metadata.MetadataListing.listTableColumns(MetadataListing.java:93) at com.facebook.presto.connector.system.jdbc.ColumnJdbcTable.cursor(ColumnJdbcTable.java:126) at com.facebook.presto.connector.system.SystemPageSourceProvider$1.cursor(SystemPageSourceProvider.java:124) at com.facebook.presto.split.MappedRecordSet.cursor(MappedRecordSet.java:53) at com.facebook.presto.spi.RecordPageSource.<init>(RecordPageSource.java:37) at com.facebook.presto.connector.system.SystemPageSourceProvider.createPageSource(SystemPageSourceProvider.java:103) at com.facebook.presto.split.PageSourceManager.createPageSource(PageSourceManager.java:56) at com.facebook.presto.operator.ScanFilterAndProjectOperator.getOutput(ScanFilterAndProjectOperator.java:221) at com.facebook.presto.operator.Driver.processInternal(Driver.java:379) at com.facebook.presto.operator.Driver.lambda$processFor$8(Driver.java:283) at com.facebook.presto.operator.Driver.tryWithLock(Driver.java:675) at com.facebook.presto.operator.Driver.processFor(Driver.java:276) at com.facebook.presto.execution.SqlTaskExecution$DriverSplitRunner.processFor(SqlTaskExecution.java:1077) at com.facebook.presto.execution.executor.PrioritizedSplitRunner.process(PrioritizedSplitRunner.java:162) at com.facebook.presto.execution.executor.TaskExecutor$TaskRunner.run(TaskExecutor.java:483) at com.facebook.presto.$gen.Presto_0_221____20190620_074001_1.run(Unknown Source) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) ``` 找了好久没找到原因,在这里求助大家!

Hive进行数据比对问题,求帮助

最近项目中需要在Hadoop平台中做对账的工作,采用hive开做,容易上手,AB双方数据做数据比对的时候,准备用表连接方式来处理,这样存在问题,表连接的时候left join会存在多对多的情况,会出现A方中多条数据和B方一条数据比对成功的情况,需求如下: 1、以A方数据为主查找B方与之匹配的数据, 2、获取到多条时,取第一条, 3、且此条数据不再与A方其他数据进行比对 之前处理的方式是在db2中用存储过程来实现的,用游标遍历A放数据逐条从B方查找来处理的,现在用Hive来做的话就遇到这样的难处了

hive多分区外部表后无数据

我将mr后的输出目录放在hdfs的/data/after,其中我使用MultipleOutputs进行了分流,分成man,woman,即hdfs目录上的/data/after下还有2个文件夹是man,woman。在hive创建分区外部表并location到/data/after,可是查询表时没数据

hive加载数据的时候,原数据被删除

我创建了两张表,一张内部表 javabloger1 和一张外部表 javabloger1 ,不管是load数据到外部表还是内部表,hdfs上的数据(也就是/my/in文件夹下的数据)都被删除了?这个是什么情况,请大神帮忙解答。详细代码如下: public static void loadData() throws ClassNotFoundException, SQLException{ Class.forName("org.apache.hive.jdbc.HiveDriver"); // String hsql = "create table javabloger1 (key String,value string)"; // String hsql = "create external table javabloger1 (key String,value string)"; String hsql = "load data inpath '/my/in/' into table javabloger1 "; // String hsql = "select * from javabloger"; Connection con = DriverManager.getConnection("jdbc:hive2://XXXXX:10000/default","",""); Statement stmt = con.createStatement(); stmt.executeUpdate(hsql); // ResultSet rs = stmt.executeQuery(hsql); // while(rs.next()){ // System.out.println(rs.getString(1)+"+++++"+rs.getString(2)); // } // rs.close(); stmt.close(); con.close(); }

spark sql 查询hive中的数据,查询结果全部为null

16/08/29 15:32:46 INFO ParseDriver: Parsing command: FROM dim_shop SELECT koubei_id,customer_id,koubei_customer_pid,first_cat_id,second_cat_id,third_cat_id,owner_id,shop_sour ce,transferred_out where dt = '20160130' 16/08/29 15:32:46 INFO ParseDriver: Parse Completed 16/08/29 15:32:47 INFO MemoryStore: ensureFreeSpace(428968) called with curMem=1497706, maxMem=556038881 16/08/29 15:32:47 INFO MemoryStore: Block broadcast_8 stored as values in memory (estimated size 418.9 KB, free 528.4 MB) 16/08/29 15:32:47 INFO MemoryStore: ensureFreeSpace(46219) called with curMem=1926674, maxMem=556038881 16/08/29 15:32:47 INFO MemoryStore: Block broadcast_8_piece0 stored as bytes in memory (estimated size 45.1 KB, free 528.4 MB) 16/08/29 15:32:47 INFO BlockManagerInfo: Added broadcast_8_piece0 in memory on 10.100.24.30:57113 (size: 45.1 KB, free: 530.1 MB) 16/08/29 15:32:47 INFO SparkContext: Created broadcast 8 from show at TmpAliTradSchema.scala:53 16/08/29 15:32:47 INFO FileInputFormat: Total input paths to process : 1 16/08/29 15:32:47 INFO NetworkTopology: Adding a new node: /default/10.100.24.30:50010 16/08/29 15:32:47 INFO NetworkTopology: Adding a new node: /default/10.100.24.10:50010 16/08/29 15:32:47 INFO NetworkTopology: Adding a new node: /default/10.100.24.29:50010 16/08/29 15:32:47 INFO SparkContext: Starting job: show at TmpAliTradSchema.scala:53 16/08/29 15:32:47 INFO DAGScheduler: Got job 5 (show at TmpAliTradSchema.scala:53) with 1 output partitions 16/08/29 15:32:47 INFO DAGScheduler: Final stage: ResultStage 5(show at TmpAliTradSchema.scala:53) 16/08/29 15:32:47 INFO DAGScheduler: Parents of final stage: List() 16/08/29 15:32:47 INFO DAGScheduler: Missing parents: List() 16/08/29 15:32:47 INFO DAGScheduler: Submitting ResultStage 5 (MapPartitionsRDD[25] at show at TmpAliTradSchema.scala:53), which has no missing parents 16/08/29 15:32:47 INFO MemoryStore: ensureFreeSpace(14504) called with curMem=1972893, maxMem=556038881 16/08/29 15:32:47 INFO MemoryStore: Block broadcast_9 stored as values in memory (estimated size 14.2 KB, free 528.4 MB) 16/08/29 15:32:47 INFO MemoryStore: ensureFreeSpace(5576) called with curMem=1987397, maxMem=556038881 16/08/29 15:32:47 INFO MemoryStore: Block broadcast_9_piece0 stored as bytes in memory (estimated size 5.4 KB, free 528.4 MB) 16/08/29 15:32:47 INFO BlockManagerInfo: Added broadcast_9_piece0 in memory on 10.100.24.30:57113 (size: 5.4 KB, free: 530.1 MB) 16/08/29 15:32:47 INFO SparkContext: Created broadcast 9 from broadcast at DAGScheduler.scala:861 16/08/29 15:32:47 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 5 (MapPartitionsRDD[25] at show at TmpAliTradSchema.scala:53) 16/08/29 15:32:47 INFO YarnScheduler: Adding task set 5.0 with 1 tasks 16/08/29 15:32:47 INFO TaskSetManager: Starting task 0.0 in stage 5.0 (TID 5, datanode162.hadoop, partition 0,NODE_LOCAL, 2443 bytes) 16/08/29 15:32:47 INFO BlockManagerInfo: Added broadcast_9_piece0 in memory on datanode162.hadoop:38271 (size: 5.4 KB, free: 530.1 MB) 16/08/29 15:32:47 INFO BlockManagerInfo: Added broadcast_8_piece0 in memory on datanode162.hadoop:38271 (size: 45.1 KB, free: 530.1 MB) 16/08/29 15:32:47 INFO DAGScheduler: ResultStage 5 (show at TmpAliTradSchema.scala:53) finished in 0.199 s 16/08/29 15:32:47 INFO TaskSetManager: Finished task 0.0 in stage 5.0 (TID 5) in 202 ms on datanode162.hadoop (1/1) 16/08/29 15:32:47 INFO DAGScheduler: Job 5 finished: show at TmpAliTradSchema.scala:53, took 0.251634 s 16/08/29 15:32:47 INFO YarnScheduler: Removed TaskSet 5.0, whose tasks have all completed, from pool +---------+-----------+-------------------+------------+-------------+------------+--------+-----------+---------------+ |koubei_id|customer_id|koubei_customer_pid|first_cat_id|second_cat_id|third_cat_id|owner_id|shop_source|transferred_out| +---------+-----------+-------------------+------------+-------------+------------+--------+-----------+---------------+ |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | |null |null |null |null |null |null |null |null |null | +---------+-----------+-------------------+------------+-------------+------------+--------+-----------+---------------+ only showing top 20 rows 目前安装的spark 是CDH 5.5带的1.5.2版本,只有在hive进行分区,且指定分隔符不为默认的\001才会出现该问题

用jdbc连接hive时resultset里面查不到数据,row是null

代码如下: public class ExtractJob { public static void main(String[] args) { String driverName = "org.apache.hive.jdbc.HiveDriver"; String url = "jdbc:hive2://***.***.***.***:10000/default"; Connection conn = null; Statement state = null; ResultSet rs = null; try { Class.forName(driverName); conn = DriverManager.getConnection(url,"hive","hive"); state = conn.createStatement(); state.execute("use test"); rs = state.executeQuery("select * from test1"); int columnCount = rs.getMetaData().getColumnCount(); String str = ""; while(rs.next()){ for(int i = 0;i<columnCount;i++){ str+=rs.getString(i); } System.out.println(str); } } catch (SQLException e) { e.printStackTrace(); }catch (ClassNotFoundException e) { e.printStackTrace(); }finally{ try { rs.close(); state.close(); conn.close(); } catch (SQLException e) { // TODO Auto-generated catch block e.printStackTrace(); }finally{ rs = null; state = null; conn = null; } } } }

大数据hive分区表导入数据的问题

分区表导入数据load data local inpath '/opt/datas/distdata/emp.txt' into table emp_partition partition(month='201512');我修改了mysql的字符集:alter database hive character set latin1;报错如下:![图片说明](https://img-ask.csdn.net/upload/201801/07/1515328517_205141.png) ![图片说明](https://img-ask.csdn.net/upload/201801/07/1515328530_91016.png) 不知道这个问题是怎么回事 文件也上传上去了 select查询就查不出来

hive 嵌套查询 报错 求大佬指点

每个部门中每个岗位的最高薪资 ``` 每个部门中每个岗位的最高薪资 select dept.dname ,emp1.job ,emp1.sal from db_hive.tb_dept dept join db_hive.tb_emp emp1 on dept.deptno=emp1.deptno where ( select count(emp2.sal) as c_sal from db_hive.tb_emp emp2 where emp2.sal>emp1.sal and emp2.deptno=emp1.deptno and emp2.job =emp1.job)<1 order by emp1.deptno,emp1.sal desc ``` 错误信息: ``` FAILED: ParseException line 4:6 cannot recognize input near 'select' 'count' '(' in expression specification ```

impala读取hive元数据问题

hive可以正常使用,切换成impal时可以读取到hive库表元数据,单数读取不到标的字段信息,查询时就报错![图片说明](https://img-ask.csdn.net/upload/201808/06/1533552128_262405.png) 请教各位大神,又遇到过类似问题么?

linux下利用/proc进行进程树的打印

在linux下利用c语言实现的进程树的打印,主要通过/proc下的目录中的进程文件,获取status中的进程信息内容,然后利用递归实现进程树的打印

设计模式(JAVA语言实现)--20种设计模式附带源码

课程亮点: 课程培训详细的笔记以及实例代码,让学员开始掌握设计模式知识点 课程内容: 工厂模式、桥接模式、组合模式、装饰器模式、外观模式、享元模式、原型模型、代理模式、单例模式、适配器模式 策略模式、模板方法模式、观察者模式、迭代器模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式 课程特色: 笔记设计模式,用笔记串连所有知识点,让学员从一点一滴积累,学习过程无压力 笔记标题采用关键字标识法,帮助学员更加容易记住知识点 笔记以超链接形式让知识点关联起来,形式知识体系 采用先概念后实例再应用方式,知识点深入浅出 提供授课内容笔记作为课后复习以及工作备查工具 部分图表(电脑PC端查看):

Python数据分析与挖掘

92讲视频课+16大项目实战+源码+¥800元课程礼包+讲师社群1V1答疑+社群闭门分享会=99元 &nbsp; 为什么学习数据分析? &nbsp; &nbsp; &nbsp; 人工智能、大数据时代有什么技能是可以运用在各种行业的?数据分析就是。 &nbsp; &nbsp; &nbsp; 从海量数据中获得别人看不见的信息,创业者可以通过数据分析来优化产品,营销人员可以通过数据分析改进营销策略,产品经理可以通过数据分析洞察用户习惯,金融从业者可以通过数据分析规避投资风险,程序员可以通过数据分析进一步挖掘出数据价值,它和编程一样,本质上也是一个工具,通过数据来对现实事物进行分析和识别的能力。不管你从事什么行业,掌握了数据分析能力,往往在其岗位上更有竞争力。 &nbsp;&nbsp; 本课程共包含五大模块: 一、先导篇: 通过分析数据分析师的一天,让学员了解全面了解成为一个数据分析师的所有必修功法,对数据分析师不在迷惑。 &nbsp; 二、基础篇: 围绕Python基础语法介绍、数据预处理、数据可视化以及数据分析与挖掘......这些核心技能模块展开,帮助你快速而全面的掌握和了解成为一个数据分析师的所有必修功法。 &nbsp; 三、数据采集篇: 通过网络爬虫实战解决数据分析的必经之路:数据从何来的问题,讲解常见的爬虫套路并利用三大实战帮助学员扎实数据采集能力,避免没有数据可分析的尴尬。 &nbsp; 四、分析工具篇: 讲解数据分析避不开的科学计算库Numpy、数据分析工具Pandas及常见可视化工具Matplotlib。 &nbsp; 五、算法篇: 算法是数据分析的精华,课程精选10大算法,包括分类、聚类、预测3大类型,每个算法都从原理和案例两个角度学习,让你不仅能用起来,了解原理,还能知道为什么这么做。

广工操作系统课程设计(文档+代码+可执行文件)

实现作业调度(先来先服务)、进程调度功能(时间片轮转) 实现内存管理功能(连续分配)。 实现文件系统功能(选作) 这些功能要有机地连接起来

Only老K说-爬取妹子图片(简单入门)

安装第三方请求库 requests 被网站禁止了访问 原因是我们是Python过来的 重新给一段 可能还是存在用不了,使用网页的 编写代码 上面注意看匹配内容 User-Agent:请求对象 AppleWebKit:请求内核 Chrome浏览器 //请求网页 import requests import re //正则表达式 就是去不规则的网页里面提取有规律的信息 headers = { 'User-Agent':'存放浏览器里面的' } response = requests.get

linux“开发工具三剑客”速成攻略

工欲善其事,必先利其器。Vim+Git+Makefile是Linux环境下嵌入式开发常用的工具。本专题主要面向初次接触Linux的新手,熟练掌握工作中常用的工具,在以后的学习和工作中提高效率。

Python代码实现飞机大战

文章目录经典飞机大战一.游戏设定二.我方飞机三.敌方飞机四.发射子弹五.发放补给包六.主模块 经典飞机大战 源代码以及素材资料(图片,音频)可从下面的github中下载: 飞机大战源代码以及素材资料github项目地址链接 ————————————————————————————————————————————————————————— 不知道大家有没有打过飞机,喜不喜欢打飞机。当我第一次接触这个东西的时候,我的内心是被震撼到的。第一次接触打飞机的时候作者本人是身心愉悦的,因为周边的朋友都在打飞机, 每

Python数据清洗实战入门

本次课程主要以真实的电商数据为基础,通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。

2019 Python开发者日-培训

本次活动将秉承“只讲技术,拒绝空谈”的理念,邀请十余位身处一线的Python技术专家,重点围绕Web开发、自动化运维、数据分析、人工智能等技术模块,分享真实生产环境中使用Python应对IT挑战的真知灼见。此外,针对不同层次的开发者,大会还安排了深度培训实操环节,为开发者们带来更多深度实战的机会。

apache-jmeter-5.1.1(Requires Java 8+).zip

。Apache JMeter 5.1.1 (Requires Java 8+),需要jdk8以上的版本。

数通HCNP中文理论全套教材.rar

内涵HCNP-IENP中文理论书-内文,

Python可以这样学(第四季:数据分析与科学计算可视化)

董付国老师系列教材《Python程序设计(第2版)》(ISBN:9787302436515)、《Python可以这样学》(ISBN:9787302456469)配套视频,在教材基础上又增加了大量内容,通过实例讲解numpy、scipy、pandas、statistics、matplotlib等标准库和扩展库用法。

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

我以为我对Mysql事务很熟,直到我遇到了阿里面试官

太惨了,面试又被吊打

2019 AI开发者大会

2019 AI开发者大会(AI ProCon 2019)是由中国IT社区CSDN主办的AI技术与产业年度盛会。多年经验淬炼,如今蓄势待发:2019年9月6-7日,大会将有近百位中美顶尖AI专家、知名企业代表以及千余名AI开发者齐聚北京,进行技术解读和产业论证。我们不空谈口号,只谈技术,诚挚邀请AI业内人士一起共铸人工智能新篇章!

图书管理系统(Java + Mysql)我的第一个完全自己做的实训项目

图书管理系统 Java + MySQL 完整实训代码,MVC三层架构组织,包含所有用到的图片资源以及数据库文件,大三上学期实训,注释很详细,按照阿里巴巴Java编程规范编写

Python数据挖掘简易入门

&nbsp; &nbsp; &nbsp; &nbsp; 本课程为Python数据挖掘方向的入门课程,课程主要以真实数据为基础,详细介绍数据挖掘入门的流程和使用Python实现pandas与numpy在数据挖掘方向的运用,并深入学习如何运用scikit-learn调用常用的数据挖掘算法解决数据挖掘问题,为进一步深入学习数据挖掘打下扎实的基础。

C/C++学习指南全套教程

C/C++学习的全套教程,从基本语法,基本原理,到界面开发、网络开发、Linux开发、安全算法,应用尽用。由毕业于清华大学的业内人士执课,为C/C++编程爱好者的教程。

微信公众平台开发入门

本套课程的设计完全是为初学者量身打造,课程内容由浅入深,课程讲解通俗易懂,代码实现简洁清晰。通过本课程的学习,学员能够入门微信公众平台开发,能够胜任企业级的订阅号、服务号、企业号的应用开发工作。 通过本课程的学习,学员能够对微信公众平台有一个清晰的、系统性的认识。例如,公众号是什么,它有什么特点,它能做什么,怎么开发公众号。 其次,通过本课程的学习,学员能够掌握微信公众平台开发的方法、技术和应用实现。例如,开发者文档怎么看,开发环境怎么搭建,基本的消息交互如何实现,常用的方法技巧有哪些,真实应用怎么开发。

三个项目玩转深度学习(附1G源码)

从事大数据与人工智能开发与实践约十年,钱老师亲自见证了大数据行业的发展与人工智能的从冷到热。事实证明,计算机技术的发展,算力突破,海量数据,机器人技术等,开启了第四次工业革命的序章。深度学习图像分类一直是人工智能的经典任务,是智慧零售、安防、无人驾驶等机器视觉应用领域的核心技术之一,掌握图像分类技术是机器视觉学习的重中之重。针对现有线上学习的特点与实际需求,我们开发了人工智能案例实战系列课程。打造:以项目案例实践为驱动的课程学习方式,覆盖了智能零售,智慧交通等常见领域,通过基础学习、项目案例实践、社群答疑,三维立体的方式,打造最好的学习效果。

2021考研数学张宇基础30讲.pdf

张宇:博士,全国著名考研数学辅导专家,教育部“国家精品课程建设骨干教师”,全国畅销书《张宇高等数学18讲》《张宇线性代数9讲》《张宇概率论与数理统计9讲》《张宇考研数学题源探析经典1000题》《张宇考

专为程序员设计的数学课

<p> 限时福利限时福利,<span>15000+程序员的选择!</span> </p> <p> 购课后添加学习助手(微信号:csdn590),按提示消息领取编程大礼包!并获取讲师答疑服务! </p> <p> <br> </p> <p> 套餐中一共包含5门程序员必学的数学课程(共47讲) </p> <p> 课程1:《零基础入门微积分》 </p> <p> 课程2:《数理统计与概率论》 </p> <p> 课程3:《代码学习线性代数》 </p> <p> 课程4:《数据处理的最优化》 </p> <p> 课程5:《马尔可夫随机过程》 </p> <p> <br> </p> <p> 哪些人适合学习这门课程? </p> <p> 1)大学生,平时只学习了数学理论,并未接触如何应用数学解决编程问题; </p> <p> 2)对算法、数据结构掌握程度薄弱的人,数学可以让你更好的理解算法、数据结构原理及应用; </p> <p> 3)看不懂大牛代码设计思想的人,因为所有的程序设计底层逻辑都是数学; </p> <p> 4)想学习新技术,如:人工智能、机器学习、深度学习等,这门课程是你的必修课程; </p> <p> 5)想修炼更好的编程内功,在遇到问题时可以灵活的应用数学思维解决问题。 </p> <p> <br> </p> <p> 在这门「专为程序员设计的数学课」系列课中,我们保证你能收获到这些:<br> <br> <span> </span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">①价值300元编程课程大礼包</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">②应用数学优化代码的实操方法</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">③数学理论在编程实战中的应用</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">④程序员必学的5大数学知识</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">⑤人工智能领域必修数学课</span> </p> <p> <br> 备注:此课程只讲程序员所需要的数学,即使你数学基础薄弱,也能听懂,只需要初中的数学知识就足矣。<br> <br> 如何听课? </p> <p> 1、登录CSDN学院 APP 在我的课程中进行学习; </p> <p> 2、登录CSDN学院官网。 </p> <p> <br> </p> <p> 购课后如何领取免费赠送的编程大礼包和加入答疑群? </p> <p> 购课后,添加助教微信:<span> csdn590</span>,按提示领取编程大礼包,或观看付费视频的第一节内容扫码进群答疑交流! </p> <p> <img src="https://img-bss.csdn.net/201912251155398753.jpg" alt=""> </p>

DDR5_Draft_Spec_Rev05c.pdf

DDR5 spec

Java面试史上最全的JAVA专业术语面试100问 (前1-50)

前言: 说在前面, 面试题是根据一些朋友去面试提供的,再就是从网上整理了一些。 先更新50道,下一波吧后面的也更出来。 求赞求关注!! 废话也不多说,现在就来看看有哪些面试题 1、面向对象的特点有哪些? 抽象、继承、封装、多态。 2、接口和抽象类有什么联系和区别? 3、重载和重写有什么区别? 4、java有哪些基本数据类型? 5、数组有没有length()方法?String有没有length()方法? 数组没有length()方法,它有length属性。 String有length()方法。 集合求长度用

网络工程师小白入门--【思科CCNA、华为HCNA等网络工程师认证】

本课程适合CCNA或HCNA网络小白同志,高手请绕道,可以直接学习进价课程。通过本预科课程的学习,为学习网络工程师、思科CCNA、华为HCNA这些认证打下坚实的基础! 重要!思科认证2020年2月24日起,已启用新版认证和考试,包括题库都会更新,由于疫情原因,请关注官网和本地考点信息。题库网络上很容易下载到。

C/C++跨平台研发从基础到高阶实战系列套餐

一 专题从基础的C语言核心到c++ 和stl完成基础强化; 二 再到数据结构,设计模式完成专业计算机技能强化; 三 通过跨平台网络编程,linux编程,qt界面编程,mfc编程,windows编程,c++与lua联合编程来完成应用强化 四 最后通过基于ffmpeg的音视频播放器,直播推流,屏幕录像,

Python界面版学生管理系统

前不久上传了一个控制台版本的学生管理系统,这个是Python界面版学生管理系统,这个是使用pycharm开发的一个有界面的学生管理系统,基本的增删改查,里面又演示视频和完整代码,有需要的伙伴可以自行下

2019数学建模A题高压油管的压力控制 省一论文即代码

2019数学建模A题高压油管的压力控制省一完整论文即详细C++和Matlab代码,希望对同学们有所帮助

4小时玩转微信小程序——基础入门与微信支付实战

这是一个门针对零基础学员学习微信小程序开发的视频教学课程。课程采用腾讯官方文档作为教程的唯一技术资料来源。杜绝网络上质量良莠不齐的资料给学员学习带来的障碍。 视频课程按照开发工具的下载、安装、使用、程序结构、视图层、逻辑层、微信小程序等几个部分组织课程,详细讲解整个小程序的开发过程

相关热词 c#框体中的退出函数 c# 按钮透明背景 c# idl 混编出错 c#在位置0处没有任何行 c# 循环给数组插入数据 c# 多线程死锁的例子 c# 钉钉读取员工排班 c# label 不显示 c#裁剪影像 c#工作进程更新ui
立即提问