hive 不能使用mapreduce进行查询? 10C

hadoop版本:chd5.1.0
hive版本:hive0.12-chd5.1.0
web页面:hadoop,yarn都正常启动,页面监控正常
hive我做测试用,使用的是默认的derby数据库,hive-env.sh,配置了hadoop的路径,
hive-site.xml使用默认的,没有做任何修改
接着做简单的测试:

hive> select count(*)from hive_sum;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=
In order to set a constant number of reducers:
set mapred.reduce.tasks=
java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)
at org.apache.hadoop.mapreduce.Cluster.(Cluster.java:82)
at org.apache.hadoop.mapreduce.Cluster.(Cluster.java:75)
at org.apache.hadoop.mapred.JobClient.init(JobClient.java:472)
at org.apache.hadoop.mapred.JobClient.(JobClient.java:450)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:402)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:136)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1485)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1263)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1091)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:931)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:921)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:268)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:220)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:422)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:790)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:684)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:623)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Job Submission failed with exception 'java.io.IOException(Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hive进行mapreduce卡壳解决方法
hive进行mapreduce卡壳解决方法
关于hive查询与MapReduce并行计算
众所周知,hive的查询是将select语句转换为底层MapReduce,然后并行化的对hive中的数据进行查询,以前的时候不觉的怎么样,直到最近遇到对比清空。不多说,上图:         1.在普通的oracle数据库中用navicat客户端对两个表进行关联查询,中间用到了trim对两个表中的字段进行处理,结果查询时间达到了80+ s 联合查询导出数据时更是用了我半个多小时都没完成
使用Hive编写Mapreduce代码
首先需要打开hive服务 bin/hive –service hiveserver 完整代码 package com.hive.demo; import java.util.List; import org.apache.hadoop.hive.service.ThriftHive; import org.apache.hadoop.hive.service.Thrif
使用Hive编写MapReduce程序
使用Hive编写MapReduce程序
使用Hive进行join查询的时报错
NULL 博文链接:https://weigang-gao.iteye.com/blog/2260663
使用MapReduce进行二次排序
首先进行hadoop集群的hdfs,yarn等的相关配置,配置成功之后。进行如下操作: 1 启动Hadoop 执行命令启动前面实验部署好的Hadoop系统。 [root@master ~]# cd /usr/cstor/hadoop/ [root@master hadoop]# sbin/start-all.sh 使用jps分别查看master的Java进程如下: 使用jps...
Hive什么情况下可以避免进行MapReduce?
hive 0.10.0为了执行效率考虑,简单的查询,就是只是select,不带count,sum,group by这样的,都不走map/reduce,直接读取hdfs文件进行filter过滤。 1、本地模式下,hive可以简单的读取目录路径下的数据,然后输出格式化后的数据到控制台,比如有本地员工employee,当执行 select * from employee 时,直接将文件中数据格式化输出...
Hive中不走MapReduce的查询
在Hive中查询语句往往都要被解析成MapReduce的job进行计算,但是有两个查询语句是不走MapReduce的,如下: 1.查询某张表的所有数据 [java] view plain copy select * from employees;   结果显示如下: [java] view plain copy
Hive查询HBase调用MapReduce性能优化
折腾了很久,被领导天天督促&指点,算是有个最基本的性能优化。 1. 背景介绍: Hive使用hive-hbase-handler建立HBase external table。在hive查询包含count(*)、join、以及Predicate Pushdown等操作时,会调用MapReduce进行处理。本文旨在查询性能方面的优化,算是对工作中的一点记录。 优化主要分为两个方面: 1)...
hive聚合查询以及mapreduce的假死现象
hive的聚合查询时,提交了mapreduce任务,hive的聚合查询假死也就是mapreduce提交任务时出现了问题 以上也就是这两个问题,这两个是属于同一个问题问题原因。 yarn.nodemanager.resource.memory-mb介绍: yarn.nodemanager.resource.memory.mb的值表示节点分配给NodeManager的总的可用物理内存,也就是节点用来...
hive查询使用详解
常见的hive查询操作有:count、group by、order by、join、distribute by、sort by、clusrer by、union all 一、常见的聚合函数 1、count计数 count(*) 所有值不全为NULL时,加1操作; count(1) 不管有没有值,只要有这条记录,值就加1 count(col) col列里面的值为null,值不会加1,...
Hive,MapReduce执行流程分析
Hive 任务提交流程RM中事件转发器:AsyncDispatcher通过rmcontext启动AM this.rmContext.getDispatcher().getEventHandler() .handle(new RMAppEvent(applicationId, RMAppEventType.START)); 这里看到getDispatcher取rmDisp
mapreduce和hive的疑惑
断断续续也看了hadoop一段时间的资料,一直没有实际操作,现有一个小疑问,既然hadoop有hive,那是不是说做文件分析时完全不用写mapreduce程序了,直接把文件导入到hive仓库中,然后用查询语句去进行分析?
使用MRUnit进行MapReduce单元测试
1.前言 在写完MR之后,通常都会自己造一些数据本地测一下保证基本逻辑没问题。这里使用MRUnit进行MR的单元测试 官网地址:https://mrunit.apache.org/              这里笨小葱使用MRUnit来测试一下最简单的WordCount的MR代码。 2.maven配置        这里需要注意 引入mrunit的jar包时需要加上hadoop2,来区分
[Hive]调用本地模式,避免使用MapReduce
大多数情况下查询都会触发一个MapReduce任务(job)。Hive中对于某些查询可以不必使用MapReduce,也就是所谓的本地模式,例如: SELECT * FROM employees WHERE country = 'US' and state = 'CA' LIMIT 100; 通过修改属性的值,Hive还是尝试使用本地模式执行其他的操作: set hive.exec.mod...
hive什么时候会使用本地的mapreduce
如果在hive中运行的sql本身数据量很小,那么使用本地mr的效率要比分布式的快很多。 //开启本地mr set hive.exec.mode.local.auto=true;  //设置local mr的最大输入数据量,当输入数据量小于这个值的时候会采用local mr的方式 set hive.exec.mode.local.auto.inputbytes.max=500
Hive——Hive查询
查询语句语法: [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [W...
Hive在查询中使用过滤
一 查询语法 二 查询时使用过滤的实例 1、查询10号部门的员工 select * from emp where deptno =10; hive> select * from emp where deptno =10; OK 1001.0 Tome null 5000.0 10.0 1002.0 Tome null 5000.0 10.0 7782.0 CLARK M
Hive在查询中使用排序
一 按照某字段排序 hive> select empno,ename,sal from emp order by sal; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the average load fo
Hive调用MapReduce任务失败
1. Hive简介Hive(蜂巢)Apache Hadoop生态圈的构成之一,其主要功能是基于Hadoop提供MapReduce的类SQL查询。Hive的语法规则和Mysql中SQL的语法规则极为相似,有Mysql使用经验的同学都能轻松上手。 Hive的执行分为本地模式和集群模式。本地模式执行简单的Hive SQL,不需要启动MapReduce程序,如-- 本地模式 select col_name
Oozie调度MapReduce与Hive Job
1.Oozie核心原理与概念rn 2.Oozie安装与部署rn 3.Oozie调度MapReduce与Hive Jobrn 4.Oozie 使用常见问题以及需要定制的内容
Hive ORC数据格式的MapReduce读写
1,先上代码package com.test.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.
执行hive时 mapreduce报错
hive> select count(*) from testkkk; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile...
Hive的查询
基本查询 全表和特定列查询 1.全表查询 select * from emp; 2.选择特定列查询 select empno,ename from emp; 注意: 1.SQL语言大小写不敏感 2.SQL可以写在一行或者多行 3.关键字不能被缩写也不能分行 列别名 主要作用: 重命名一个列 便于计算 使用AS关键字为列指定别名 select ename as name from e...
Impala不能查询到Hive中新增加的表
使用Cloudera Manager部署安装的CDH和Impala,Hive中新增加的表,impala中查询不到,其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件: 将hadooop-core.xml,hdfs-site.xml,hive-site.xml拷贝到conf下,重启服务即可。...
Hive查询
Hive查询 分桶表 常用函数 自定义函数: 查询语法1234567891011[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0)SELECT [ALL | DISTINCT]...
Hive查询基本查询
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
Hive 查询
HIVE是一个数据仓库系统,这就意味着它可以不支持普通数据库的CRUD操作。CRUD应该在导入HIVE数据仓库前完成。 而且鉴于 hdfs 的特点,其并不能高效的支持流式访问,访问都是以遍历整个文件块的方式。hive 0.7 之后已经支持 索引,但是很弱,尚没有成熟的线上方案。 关于 hive 的删除和更新有如下办法: 一、行级的更新和删除:通过 hbase 进行。 数据保存在HBase
Hive查询_基本查询
<span style="color:#404040;">Hive是基于Hadoop的一个数据仓库工具,将繁琐的MapReduce程序变成了简单方便的SQL语句实现,深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿起来。</span>
为何不能进行操作查询?
请问:rn 在vb中为何不能对access数据库进行 inser into (字段名) values(值)操作?
Hive中SQL查询转MapReduce作业过程------学习笔记
说明:当启动MapReduce程序时,Hive本身是不会生成MapReduce算法程序的需要通过一个表示“Job执行计划”的XML文件驱动执行内置的、原生的Mapper和Reducer模块Hive通过和JobTracker通信来初始化MapReduce任务,不必直接部署在JobTracker所在的管理节点上执行通常在大型集群上,会有专门的网关机来部署Hive工具。网关机的作用主要是远程操作和管理节...
Hive:简单查询不启用Mapreduce job而启用Fetch task
 一、背景:        如果在hive中仅仅查询某个表的一列,Hive也会默认启用MapReduce Job来完成这个任务。我们都知道,启用MapReduce Job是会消耗系统开销的。对于这个问题,从Hive0.10.0版本开始,对于简单的查询语句(没有函数、排序、不需要聚合的查询语句),类似SELECT &amp;lt;col&amp;gt; from &amp;lt;table&amp;gt; LIMIT n语句,当...
[Hive]Hive实现抽样查询
对于非常大的数据集,有时用户需要使用的知识一个具有代表性的查询结果,而不是全部结果。Hive可以通过对表进行分桶抽样来满足这个需求。 1、分桶抽样查询 select * from numbers TABLESAMPLE(BUCKET 3 OUT OF 10 ON number) s; 其中tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y)...
使用HQL进行查询
[java] view plain copyimport java.util.*;  import org.hibernate.*;  import org.hibernate.query.Query;    public class Main {        public static void main(String... args) {          Transaction trans...
使用正则表达式进行查询
– 使用正则表达式进行查询 – author :余辉 – 时间 :2019-06-21 10:38:02 – 查询以特定字符或字符串开头的记录 SELECT * FROM inp_entrealation WHERE LJSOURCEQYNAME REGEXP ‘^佛山’ – 查询以特定字符或字符串结尾的记录 SELECT * FROM inp_entrealation WHERE LJSOUR...
使用MapReduce方式进行聚合操作
<p>rn <span> </span>rn</p>rn<p>rn <p>rn 大数据一卡通!<span style="color:#337FE5;">可学赵强老师(Oracle认证讲师)全部课程</span>,仅售799元(原价5273元),<span style="color:#E53333;">还送漫威授权机械键盘+CSDN 20周年限量版T恤!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn购买课程后,可扫码进入学习群<span style="font-family:&quot;">,获取赵强老师答疑</span> rn<p>rn <br />rn</p>rn<p>rn <img src="https://img-bss.csdn.net/201908070845015186.jpg" alt="" /> rn</p>rn<p>rn 掌握MongoDB的安装和配置,以及如何使用Mongo Shell执行数据的CRUD操作。包含:基本操作、聚合操作,全文搜索,数据建模等等。rn</p>
Hadoop-使用mapreduce对数字进行排序
我写了三个类 创建一个Mapper类 import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop....
使用kettle进行hadoop的mapreduce图形化开发
使用kettle进行hadoop的mapreduce图形化开发..........
使用MRUnit对MapReduce进行单元测试
1. 为什么需要单元测试   一旦MapReduce项目提交到集群之后,若是出现问题是很难定位和修改的,只能通过打印日志的方式进行筛选。又如果数据和项目较大时,修改起来则更加麻烦。所以,在将MapReduce项目提交到集群上之前,我们需要先对其进行单元测试。 2. 使用什么框架进行单元测试   MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架,其API非...
使用eclipse插件进行mapreduce程序开发和运行
一、环境说明 linux:redhat enterprise linux 5 hadoop:0.20.2 eclipse:3.4.2 jdk:1.6.21 ant:1.8.2   二、安装hadoop伪分布式   三、安装eclipse 把eclipse-SDK-3.4.2-linux-gtk.tar.gz解压到/home/hadoop/eclipse3.4.2   四、安...
相关热词 c# 线程结束时执行 c# kb mb 图片 c# 替换第几位字符 c#项目决定成败 c# 与matlab c# xml缩进 c#传感器基础 c#操作wps c# md5使用方法 c# 引用父窗口的组件