2 xiashuijun xiashuijun 于 2016.04.26 14:57 提问

hive 不能使用mapreduce进行查询? 10C

hadoop版本:chd5.1.0
hive版本:hive0.12-chd5.1.0
web页面:hadoop,yarn都正常启动,页面监控正常
hive我做测试用,使用的是默认的derby数据库,hive-env.sh,配置了hadoop的路径,
hive-site.xml使用默认的,没有做任何修改
接着做简单的测试:

hive> select count(*)from hive_sum;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=
In order to set a constant number of reducers:
set mapred.reduce.tasks=
java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)
at org.apache.hadoop.mapreduce.Cluster.(Cluster.java:82)
at org.apache.hadoop.mapreduce.Cluster.(Cluster.java:75)
at org.apache.hadoop.mapred.JobClient.init(JobClient.java:472)
at org.apache.hadoop.mapred.JobClient.(JobClient.java:450)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:402)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:136)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1485)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1263)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1091)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:931)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:921)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:268)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:220)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:422)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:790)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:684)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:623)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Job Submission failed with exception 'java.io.IOException(Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

1个回答

CSDNXIAON
CSDNXIAON   2016.04.26 15:06

基于MongoDB分布式存储进行MapReduce并行查询
基于MongoDB分布式存储进行MapReduce并行查询
基于MongoDB分布式存储进行MapReduce并行查询
----------------------同志你好,我是CSDN问答机器人小N,奉组织之命为你提供参考答案,编程尚未成功,同志仍需努力!

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
让Hive简单的查询不启用Mapreduce而启用Fetch task本地运行
查询某个表的某一列,Hive默认是会启用MapReduce来完成这个任务,如下: hive> SELECT uid, number FROM test limit 9; Total MapReduce CPU Time Spent: 2 seconds 320 msec OK 1       12 2       15 3       21 4       22 5       2
Hive调用MapReduce任务失败
1. Hive简介Hive(蜂巢)Apache Hadoop生态圈的构成之一,其主要功能是基于Hadoop提供MapReduce的类SQL查询。Hive的语法规则和Mysql中SQL的语法规则极为相似,有Mysql使用经验的同学都能轻松上手。 Hive的执行分为本地模式和集群模式。本地模式执行简单的Hive SQL,不需要启动MapReduce程序,如-- 本地模式 select col_name
hive count表提交mapreduce任务报错。
今天使用hive时发现用select * 查询单表,查询正常。 使用select 字段名 ,select count(*) ,及关联表查询时发生如下异常错误: Caused by: java.net.URISyntaxException: Illegal character in scheme name at index 0:      file:///service/cdh/hive/lib
hive中设置查询不启动mapreduce作业(默认不启动)hive-site.xml关键配置
hive.fetch.task.conversion    more          Expects one of [none, minimal, more].      Some select queries can be converted to single FETCH task minimizing latency.      Currently the query should be
Hive之简单查询不启用MapReduce
如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下: 01 hive> SELECT id, money FROM m limit 10; 02 Total MapReduce jobs = 1 03 Launching
hive进行mapreduce卡壳解决方法
hive进行mapreduce卡壳解决方法
关于hive查询与MapReduce并行计算
众所周知,hive的查询是将select语句转换为底层MapReduce,然后并行化的对hive中的数据进行查询,以前的时候不觉的怎么样,直到最近遇到对比清空。不多说,上图:         1.在普通的oracle数据库中用navicat客户端对两个表进行关联查询,中间用到了trim对两个表中的字段进行处理,结果查询时间达到了80+ s 联合查询导出数据时更是用了我半个多小时都没完成
Hive-为什么没有启动MapReduce任务
Hive-fetch task 优化 hive.fetch.task.conversion hive.fetch.task.aggr hive.fetch.task.conversion.threshold
Hive查询在MapReduce上的执行过程
Hive查询首先被转换成物理查询计划,物理查询计划通常包含多个MapReduce作业,而一个MapReduce作业的输出可以作为另一个MapReduce作业的输入。Hive为Hive查询设计的MapReduce作业有固定的模式:Mapper类为org.apache.hadoop.hive.ql.exec.ExecMapper,Reducer类为org.apache.hadoop.hive.ql.e
使用Hive编写MapReduce程序
使用Hive编写MapReduce程序