impala、hive、hbase整合之后进行数据分析,例如count()会特别慢,大家有什么方法么?

如题,还不如impala整合hive快呢,但数据在hbase中怎么可以提高效率?

0

1个回答

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Impala、Hive与HBase整合实践
我们知道,HBase是一个基于列的NoSQL数据库,它可以实现的数据的灵活存储。它本身是一个大表,在一些应用中,通过设计RowKey,可以实现对海量数据的快速存储和访问。但是,对于复杂的查询统计类需求,如果直接基于HBase API来实现,性能非常差,或者,可以通过实现MapReduce程序来进行查询分析,这也继承了MapReduce所具备的延迟性。 实现Impala与HBase整合,我们能够获
数据分析:Hive、Pig和Impala
主要是针对Hive、Pig和Impala各自的特点、应用、区分,以及与传统数据库的区别来进行阐述,对于深入了解数据分析工具在实际中的运用有着重要作用。
Impala,Hive,Hbase,关系数据库区别
Impala简介 Impala是性能最高的SQL引擎(提供类似RDBMS的体验),它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。 Impala将相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)用作Apache Hive,为面向批量或实时查询提供熟悉且统一的平台。 Impala不基于MapReduce算法。 它实现了一个基于守...
大家有什么好的方法
在写方法的时候经常要用到判断一个值是否存在,rn我是这样写的rnpublic bool HasValue(string Name)rnrn string str="select count(name) from tablename where name='"+Name+"'";rn return com.ExecuteScalar().ToString()!="0";rnrn请问大家是怎么写的rn注主要是sql语句用not in 或 in 或exists还是。。。?
hive和hbase整合
配置,测试,导入数据详细操作,CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname,catgyid1,catgyname1,catgyid2,catgyname2,catgyid3,catgyname3,catgyid4,catgyname4,catgyid5,catgyname5,catgyid6,catgyname6,catgyid7,catgyname7,catgyid8,catgyname8,catgyid9,catgyname9,levelnum,catgyno,createtmp idap_dim_chrg_item_catgy /user/hive/staging/idap_dim_chrg_item_catgy 注意导入的时候要先在hbase中创建idap_dim_chrg_item_catgy这个表 create
hive与hbase整合
hive与hbase整合    hive操作hbase  整合hive与hbase的过程如下 1.将文件/opt/modules/hbase-0.98.15-hadoop1/lib/hbase-0.90.4.jar  与/opt/modules/hbase-0.98.15-hadoop1/lib/zookeeper-3.4.6.jar拷贝到/opt/modules/hive-1.0.1/l
Hadoop Hive与Hbase整合
Hadoop Hive与Hbase整合配置
使用Hive整合Hbase
一、配置 1、根据hive的版本去maven仓库找hive-hbase-handler.jar。 org.apache.hive hive-hbase-handler 0.14.0 把下载到的hive-hbase-handler-0.14.0.jar放到hive的lib目录下。 附:对hive和hbase的版本要求非常严格,必须要版本匹配才行。如何匹配版本?
Hive安装及与HBase的整合
介绍Hive的工作原理、配置及与HBase的整合。
hbase与hive的整合
环境说明: apache-hive-1.2.2-bin hbase-1.2.6 zookeeper-3.4.9 hadoop-2.7.3 前期说明: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 注意:以下路径以自己的路径为准 第一步: cp hbase-1.2.6
Hbase与Hive整合
Hbase版本0.96.2 Hive版本0.13 在整合的时候需要将Hbase的部分以Hbase开头的包导入到Hive的lib中,并且,尤其注意一个htrace-core-2.04.jar这个jar包,没有的话会出错。Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstr
hbase和hive整合问题
hbase和hive整合后从hive创建hbase表报错如下: 百度一番后在csdn找到这篇文章: http://blog.csdn.net/u010376788/article/details/50905476 在Hive继承HBase中,二者的通信包就是hive-hbase-handler.jar,极其重要。如果我们用$HIVE_HOME/lib目录下的hive-hbase-hand...
Hbase Hive整合映射
1. 创建hbase表 hbase(main):016:0> create 'hb_tgtest',{NAME => 'cf',REPLICATION_SCOPE => 1} 2.创建hive表 hive> CREATE EXTERNAL TABLE tgtest_info ( key int, device_id string, lon double, l...
hive和hbase整合报错
我用的是hive0.12.0 和hbase0.90.6 hadoop1.2.1rn在成功创建表后,运行select * from hbase_table limit 10;的时候报如下错误rn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Created Body Plan for Query Block nullrn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Created Plan for Query Block nullrn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Before logical optimizationrnTS[0]-SEL[1]-LIM[2]-FS[3]rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for FS(3)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for LIM(2)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for SEL(1)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for TS(0)rn14/05/22 08:36:42 DEBUG hive.log: DDL: struct hbase_table_2 i32 key, string valuern14/05/22 08:36:42 INFO ql.Driver: rn[color=#FF0000]Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.security.User.isHBaseSecurityEnabled(Lorg/apache/hadoop/conf/Configuration;)Zrn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.addHBaseDelegationToken(HBaseStorageHandler.java:373)rn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.configureTableJobProperties(HBaseStorageHandler.java:342)rn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.configureInputJobProperties(HBaseStorageHandler.java:283)rn at org.apache.hadoop.hive.ql.plan.PlanUtils.configureJobPropertiesForStorageHandler(PlanUtils.java:755)rn at org.apache.hadoop.hive.ql.plan.PlanUtils.configureInputJobPropertiesForStorageHandler(PlanUtils.java:725)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer$FetchData.convertToWork(SimpleFetchOptimizer.java:208)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer$FetchData.access$000(SimpleFetchOptimizer.java:180)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer.optimize(SimpleFetchOptimizer.java:103)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer.transform(SimpleFetchOptimizer.java:74)rn at org.apache.hadoop.hive.ql.optimizer.Optimizer.optimize(Optimizer.java:131)rn at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:8392)rn at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:284)rn at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:441)rn at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:342)rn at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:977)rn at org.apache.hadoop.hive.ql.Driver.run(Driver.java:888)rn at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259)rn at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216)rn at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)rn at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781)rn at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675)rn at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)rn at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)rn at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)rn at java.lang.reflect.Method.invoke(Method.java:606)rn at org.apache.hadoop.util.RunJar.main(RunJar.java:160)[/color]rn14/05/22 08:36:42 DEBUG fs.FileSystem: Starting clear of FileSystem cache with 2 elements.rn14/05/22 08:36:42 DEBUG fs.FileSystem: Removing filesystem for file:///rn14/05/22 08:36:42 DEBUG fs.FileSystem: Removing filesystem for file:///
HIVE和HBASE的整合
此文档是本人在工作中用到的知识总结出来的整合过程,本人是菜鸟,希望得到大神们的建议。
hive与hbase的整合
1.1hive整合hbase的搭建配置 说明:Hive是单节点,hbase为集群 修改hive-site.xml文件,添加zookeeper配置 <!--hive整合hbase --> <property> <name>hbase.zookeeper.quorum</name> <value>node1:2181,node...
Hive与Hbase的整合
Hive与Hbase的整合 1. Hbase表映射到Hive表中 1.1 Hive的配置文件修改 1.1.1 修改hive-site.xml配置文件,添加配置属性 <property> <name>hbase.zookeeper.quorum</name> <value>server01:2181,se
hive和hbase的整合
使用hbase作为用户行为分析的数据库,为了提高效率,集成了hive。 [b]安装[/b] 使用cloudera的cdh3u0版本,hbase安装见[url]http://jinghong.iteye.com/blog/1051732[/url], 解压hive到/home/hadoop/cdh3 [code="shell"]tar zxvf hive-0.7.0-cdh3u0.tar.g...
Hbase Hive 整合映射
Hbase Hive 整合映射 可使用HQL查询数据 步骤 1,创建Hbase表 2,映射Hive表 步骤一 说明:cf 列簇名,只put了少量测试列 create ‘cofeed_info’,{NAME => ‘cf’, REPLICATION_SCOPE => 1} put ‘cofeed_info’, ‘100001’, ‘cf:id’, ‘101’ put
Hive与HBase的整合
Step 1:把hive的Lib目录下hive-hbase-handler-1.2.1.jar cp到hbase/lib 下 同时把hbase中的所有的jar,cp到hive/lib执行命令:cp /opt/apps/hive/apache-hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar /opt/apps/HBase/hbase-1.1.3/li
HBase与Hive整合的必要性
Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具,将我们的sql操作转换为相应的MapReduce jobs,然后在Hadoop上面运行。          HBase全称为Hadoop Database,即HBase是Hadoop的数
Hive整合Hbase(一)
Hive整合Hbase(一) 1、简介 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 1、将ETL操作的数据存入HBase 2、HBase作为Hive的数据源 3、构建低延时的数据仓库 3、环境准备 3.1...
Hive 整合Hbase环境配置
Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 1、应用场景 ETL操作的数据存入HBase HBase作为Hive的数据源 构建低延时的数据仓库 2、环境准备 hive与hbase版本兼容性 Hive版本 hive-1.2.1、hbase的版本hbase-1...
Hive和Hbase整合
Hive创建以Hbase为数据来源的外部表 String[] sqls = new String[3]; StringBuffer sb = new StringBuffer(); sb.append("CREATE EXTERNAL TABLE alarm_log ( "); sb.append("key string, ");//rowkey
企业级系统用户浏览数据存储实例(hbase,hive,impala整合)
1.hbase表设计 建表语句 create 'behavior','view', 'attention' view用于用户的浏览信息的收集,attention用于用户的关注信息的收集 数据如下 put 'behavior','user1', 'view:2015-10-22', "\x00\x00\x00\x09" put 'behavior','user1', 'attenti
hive、hbase整合
Hive 与Hbase 整合 原理: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示: 附件: 编译好的hive-hbase-handler-1.2.1.jar,可以直接使用 环境 —— jdk:1.8.0_65;hadoop:2.6.0 单节点;hbase:1.
Hive与HBase的整合
开场白:Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers), 大致意思如图所示: 口水: 对 hive_hbase-handler.jar 这个东东还有点兴趣,有空来磋磨一下。 一、2个注意事项:1、需要的软件有 Hadoop、Hive、Hbase、...
Hbase与Hive的整合
1.1原理 Hive 与 HBase 利用两者本身对外的 API 来实现整合,主要是靠 HBaseStorageHandler 进行通信,利用 HBaseStorageHandler,Hive 可以获取到 Hive 表对应的 HBase 表名,列簇以及列,InputFormat 和 OutputFormat 类,创建和删除 HBase 表等。 Hive 访问 HBase 中表数据,实质上是通过...
Hbase整合Hive案例
一、原理:     Hive 与 HBase 利用两者本身对外的 API 来实现整合,主要是靠 HBaseStorageHandler 进行通信,利用 HBaseStorageHandler,Hive 可以获取到 Hive 表对应的 HBase 表名,列簇以及列,InputFormat 和 OutputFormat 类,创建和删除 HBase 表等。     Hive 访问 HBase 中表数...
Hive 与 Hbase的整合(四)
Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类一、将hbase 下相关的jar包拷贝到/home/centosm/hive/lib文件夹下面,如果已存在不同版本的则删除hive中的再复制上去。 具体操作步骤如下:1、备份hive下的lib包: zip -r lib.zip lib2、将hbase
Hive和HBase整合
本文主要描述Hive和HBase 环境整合配置的详细过程: 基本环境 整合配置 测试验证     详见:http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
HBase与hive关系整合
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。本次课程适合HBase入门的学员,课程首先介绍了什么是HBase ,HBase安装以及Sell入门,其次通过介绍独立zk、JavaAPI、区域操作、HBase常用功能、过滤器等一系列功能操作进行详细解析,帮助学员更好的理解,最后以HA集成进行入门阶段的收尾,全程通俗易懂,为初学者提供了良好的学习素材。
hive与hbase整合经验谈
hive与hbase整合经验谈
Hive整合Hbase(二)
Hive整合Hbase实战1、hbase表映射到hive表中 1、在hbase中创建表:表名hbase_test, 有三个列族 f1、f2、f3 create 'hbase_test',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',VERSIONS => 1},{NAME => 'f3',VERSIONS => 1} 2、插入数据 put 'hbase_tes
【配置】Hive整合HBase
一、配置1.将HBase相关jar包拷贝到hive的lib目录下2.修改hive-site.xml配置文件①将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。②修改hive.zookeeper.quorum属性。③添加hbase.zookeeper.quorum属性。3.修改hive-env.sh配置文件copy一份模板文件修改4.启动hive 123
Hive与HBase整合(实例)
  实例1 1.先在Hbase中创建表(三列族): create 'ceshi7', {NAME=>'TIME',VERSIONS=>1,BLOCKCACHE=>true,BLOOMFILTER=>'ROW',COMPRESSION=>'SNAPPY', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOCKSIZE =&...
Hive整合Hbase详解
Hive 整合Hbase1、摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景2.1 将ETL操作的数据存入HBase  2.2 HBase作为Hive的数据源  2.3 构建低延时的数据仓库 3、环境准备3.1 hive与hbase版本兼容性Hive...
Hbase与hive整合
我们来参照hive的官方文档来进行Hbase与hive的整合,在这之前呢,需要将HBase与Hive之间依赖的jar包相互导入建立依赖关系,具体请参见 https://blog.csdn.net/Lu_Xiao_Yue/article/details/84949427 下面来详细介绍Hbase与Hive的整合 按照官方指导 我们先在hive中创建hive表并且关联HBase表 建表语句如下 CRE...
hive与HBase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面进行hql查询。让Hbase和Hive能互相访问,让Hadoop/Hbase/Hive协同工作,合为一体。  首先需要把hive/lib下的hbase包替换成安装的hbase的,需要如下几下: hbase-client-1.2.0.jar hba
Hive与Hbase关系整合
近期工作用到了Hive与Hbase的关系整合,虽然从网上参考了很多的资料,但是大多数讲的都不是很细,于是决定将这块知识点好好总结一下供大家分享。 本篇文章在具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。 其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hive