impala读取hive元数据问题 5C

hive可以正常使用,切换成impal时可以读取到hive库表元数据,单数读取不到标的字段信息,查询时就报错图片说明
请教各位大神,又遇到过类似问题么?

0

2个回答

0
wo512156106
八戒小码农 已经刷新元数据很多次了,执行命令invalidate metadata很多次,还是不行,我在考虑是否为权限因素导致,有的表可以获取到字段信息,可以正常查询。
大约一年之前 回复

hive表对应hdfs文件格式问题,有的格式hive支持impala却不支持,比如orc格式表hive可显示,在impala就不行。text格式表就hive,impala都可以。你可以去hive看看你的表是什么格式的。

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Impala实践之二:Hive元数据
0x00 前言深入学习Impala的最主要一个原因就是目前在使用Impala的时候遇到了各种了性能问题,之前定位过一次问题,猜测其性能损耗的一个主要原因在INVALIDATE METADATA和-r参数上,但是对此并不是十分理解,因此需要深入一点底理解这些概念,方面更准确地定位问题。下面将从三个角度来分析Impala元数据:Hive元数据库、INVALIDATE METADATA语句和REFRESH
Impala实时刷新同步Hive元数据
背景 通过HIVE对数据进行操作或更新元数据,Impala是无感知的,官方提供了两种手动刷新的方式,分别是INVALIDATE METADATA和REFRESH操作。但是使用起来相当不方便,针对此问题,想到两种简单的应对方案。 方案一 如果ETL处理都是通过脚本执行,那么可以考虑在脚本中添加手动刷新的命令,即某个表的数据已通过脚本处理完成,脚本的最后调用impala刷新一下这个表。这种方式无法处理...
impala同步Hive元数据
//重新加载所有库中的所有表 INVALIDATE METADATA //重新加载指定的某个表 INVALIDATE METADATA [table]  
Impala同步Hive元数据
Impala没有同步Hive的元数据 在(CDH中)使用impala-shell命令进入Impala客户端, INVALIDATE METADATA; 然后执行 INVALIDATE METADATA;命令  
CDH中impala读取不到hive创建的表
问题:imapa中使用show tables未显示table信息,hive中使用show tables 会显示创建的表 问题解释:The Impala metadata may be out of date on the specific Impalad that the client is connecting to, so a recently created table will no
在脚本中刷新impala元信息
在脚本中刷新impala元信息
hadoop生态系统学习之路(七)impala的简单使用以及与hive的区别
上个月参与了公司的大数据接口平台项目,其中就使用到了impala提供实时查询接口。而且,在使用当中还遇到了关于impala版本的问题,主要是sql语法上的差异,目前已经到了2.4了,而我们公司集群环境使用的版本是1.3。 下面,笔者将分以下几个步骤进行介绍。一、impala的基本概念与原理Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Imp
如何在Hive & Impala中使用UDF
如何在Hive & Impala中使用UDF 1、介绍如何在Hive、Impala中使用UDF函数 1.如何使用Java开发Hive的自定义函数(如果使用spark sql注册UDF函数,请参考之前的博客Hive Spark Api 查询、写入、注册UDF函数,SparkSql简单操作) 2.如何在Hive中创建自定义函数及使用 3.如何在Impala中使用Hive的自定义函数 2.UDF...
Impala不能查询到Hive中新增加的表
使用Cloudera Manager部署安装的CDH和Impala,Hive中新增加的表,impala中查询不到,其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件: 将hadooop-core.xml,hdfs-site.xml,hive-site.xml拷贝到conf下,重启服务即可。...
自动刷新Impale元数据
1.新建invld.sh文件 内容为:impala-shell -q "invalidate metadata" 2.编辑定时配置,指定每5分钟提交一次命令 vi /etc/crontab 添加一行: */5 * * * * root /root/invld-meta/invld-meta.sh 3.启动crond服务 /sbin/servic
Impala集成hive(填了各种坑之后总结出来的文档)
1 环境准备 1.1服务器配置 1.2 环境配置 1.3 Impala安装包下载(不能使用yum命令的情况下) 1.4 Impala安装包下载(可以使用yum命令的情况下) 2 下载安装依赖包(必须安装) 3 安装impala 3.1 安装 bigtop-utils(主、从机都要安装) 3.2 安装impala-2.7.0(主、从机都要安装) 3.3 安装...
hive sql数据库跑批插件(hive,impala)
附上代码连接和案例样本 场景hive,impala(jdbc接口都可以试试)跑批需要查询其他数据库配置参数,并且有复杂的逻辑结构存在事使用本插件 用法解析: 定义几个模块[DATASOURCE],[PARAM],[ACTION] [DATASOURCE]: 自定义数据连接名称 url 驱动名称 [PARAM]:自定义变量名称 TYPEAS 数据类型(string,double,long,
Kudu元数据分析
获取Kudu元数据信息,目前直接查询Kudu表即可 原因如下:(官网文档)   Catalog Table The catalog table is the central location for metadata of Kudu. It stores information about tables and tablets. The catalog table may not be r...
hive元数据生成建表语句
可以从hive元数据生成建表语句的资源。包括表结构、分区等信息
用Hive、Impala查询Hbase数据
近期有项目需要向Hbase写入数据,为了测试数据写入是否正常,常用Hbase shell查询数据,但是用起来比较麻烦,看到Clouder官网有关于使用Impala查询Hbase的操作说明,做了简单的尝试,记录如下,供大家参考。 环境: CDH 5.10.2、Impala 2.7.0、Hive 1.1.0、Hbase 1.2.0 原理: Hive创建外部表,建立与Hbase表的映射关系,从而...
impala操作hive数据实例
背景说明: 基于CHD quick VM环境,在一个VM中同时包含了HDFS、YARN、HBase、Hive、Impala等组件。 本文将一个文本数据从HDFS加载到Hive,同步元数据后,在Impala中进行数据操作。 ----------------------------------------------------------------------------------
实时分析系统(HIVE/HBASE/IMPALA)浅析
1. 什么是实时分析(在线查询)系统? 大数据领域里面,实时分析(在线查询)系统是最常见的一种场景,通常用于客户投诉处理,实时数据分析,在线查询等等过。因为是查询应用,通常有以下特点: a. 时延低(秒级别)。 b. 查询条件复杂(多个维度,维度不固定),有简单(带有ID)。 c. 查询范围大(通常查询表记录在几十亿级别)。 d. 返回结果数小(几十条甚至几千条)。 e. 并发...
Parquet表在spark与Impala间不兼容问题
1、出现的问题; 利用impala和hive单独查询数据时可以正常读取parquet文件的表;但是利用spark-sql 读取时报错; Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: parquet.hive.DeprecatedParquetInputFormat (state=,code=0);
HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表
Hive 、Impala的用法相同,Hive直接输入hive就能启动,Impala使用Impala-shell命令进行启动 下面用一道题进行讲解这个过程: 给定一个企业对员工进行的安全培训数据表TrainingRecord(如下图),包括姓名(Name),培训日期(Date)和培训小时数(Hours),请写出相应的SQL查询回答下列问题: (1)查询每个员工的总培训小时数,平均培训时长和培训...
学习Hive和Impala必看经典解析
Hive和Impala作为数据查询工具,它们是怎样来查询数据的呢?与Impala和Hive进行交互,我们有哪些工具可以使用呢?
cdh hive 中文注释乱码解决方法(简单几步)
一、问题描述 环境 cdh5.12.1 + hive 1.1.0。 hive 元数据库用的是mysql 创建hive表后,用desc查看表信息,中文注释出现乱码,如下   二、解决方法 1、进入mysql执行:show create database hive;  发现默认是utf8类型     mysql> show create database hive; +-----...
impala介绍ppt
Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析,实现了Hive的SQL语义的子集,功能还在不断的完善中
Impala查询不到hive数据
背景 hive写入的数据,hive是可以查到数据,impala进行过元数据的刷新,然后查询此表,查询成功,返回结果是空表。 原因 写入数据的SQL里使用了UNION,导致HDFS目录结构多了一层,本来是分区底下直接是数据,使用了UNION后,有几个UNION,分区底下会出现几个文件夹,依次为1,2,3…,文件夹里面才是数据。导致Impala无法访问到具体数据。也许Imapla新版本解决了这个问题,...
impala用parquet格式,hive用orc格式
1.impala用parquet格式,hive用orc格式。Impala不支持orc file,orc file的确很好
使用hive和impala遇到的一些错误
1.问题描述:首先在浏览器启动hue时会出现如下报错界面: 然后点开hue里的hive的Query Editor时,DATABASE一直刷不出来,并且写句查询语句执行时,会出现连接不到10000的错误。 解决方法: netstat -anp |grep 9083 查看9083端口发现被占用,所以将占用9083端口的所有进程kill掉后,重新启动metastore和hiveserve...
impala初期使用零碎记录
搭建 impala搭建参考cdh官方文档,有详细步骤,其中copy hdfs-site.xml、core-site.xml、hive-site.xml至/etc/impala/conf后 注意参数dfs.client.read.shortcircuit只允许在/etc/impala/conf里core-site.xml hdfs-site.xml里配置,不在/etc/hadoop里配置 并且
怎么解决Hive中metaData 字符集中文问题?--详细步骤
一.首先,一般常见的错误有以及几种以及他们的解决方案:1.      Hive中创建数据库或者表,如下图示但是,当你去查看该数据详细信息时,中文出现了乱码,但英文不会,查看数据详情图为了解决Hive中创建表或者数据库的时候,注解等中文显示的乱码问题,需要设置MetaStore DataBase中某些字段的字符编码为utf-8二.HiveMetaStore 配置说明1. MySQL 授权(如果安装M...
impala查询不到hive里创建的表
在hive里创建的表在impala里查不到,是因为元数据信息没有刷新,在impala里执行invalidate metadata命令刷新元数据即可。
[SQL]spark sql 直接查询hive或impala中的数据
SparkSQL结合SparkStreaming,使用SQL完成实时计算中的数据统计 – lxw的大数据田地 http://lxw1234.com/archives/2015/11/552.htm Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构,利用Kafka,即可以支持将用于离线分析的数据流到HDFS...
Hive文件存储格式 :Parquet sparksql ,impala的杀手锏
Hive文件存储格式 1.textfile textfile为默认格式 存储方式:行存储 磁盘开销大 数据解析开销大 压缩的text文件 hive无法进行合并和拆分 2.sequencefile 二进制文件,以的形式序列化到文件中 存储方式:行存储 可分割 压缩 一般选择block压缩 优势是文件和Hadoop api中的mapfile是相互兼容的。 3.rcfile 存储方式:数据按行分块 每
分析挖掘(大数据):hive、impala、 Spark MLlib概述、原理
hiveHive是一个构建于Hadoop顶层的数据仓库工具,支持大规模数据存储、分析,具有良好的可扩展性。某种程度上可以看作是用户编程接口,本身不存储和处理数据。依赖分布式文件系统HDFS存储数据,依赖分布式并行计算模型MapReduce处理数据。定义了简单的类似SQL 的查询语言——HiveQL,用户可以通过编写的HiveQL语句运行MapReduce任务,可以很容易把原来构建在关系数据库上的数...
Win7平台Python3使用impyla连接Hive遇到的坑
环境硬件配置及Hadoop,Hive版本 此博客置顶文章中有 安装步骤 pip install pure-sasl Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Collecting pure-sasl Downloading https://pypi.tuna.tsinghua.edu....
jdbc 通过impala 连接hive库
一直在网上找不到impalajdbc的pom依赖,项目是maven的,所以整理了所用的pom
impala 问题小结
前言: 在日常的impala操作及运维中,遇到了一些问题,在此记录,防止后来人踩坑。 问题一:impala的substr 由于hive跑日常批量时间较长,因此考虑使用impala进行替换,在改写脚本中遇到了如下问题: 用hive 写 select substr("adbc",0,2) 获得数据为"ab",使用impala 写 select substr("adbc",0,2) 获得数据为...
ambari集成Impala,通过hive查询hbase表报错null
通过浏览器IP+25000或者25020端口访问,查看logs日志,发现zookerper连接配置的参数存在问题,显示连接/hbase,而我们ambari连接的应该是hbase-unsecure,怀疑是配置文件未加载导致。 解决方案:缺少hbase的配置文件hbase-site.xml,将其拷贝的并分发到各个节点。 cp /etc/hbase/conf/hbase-site.xml /etc/...
impala刷新hive或者hbase中表的结构或数据
1.  在hive或者hbase中有表的结构,在impala中没有表结构用下面命令同步元数据 INVALIDATE METADATA; 2. 如果两边都有表结构了,但是impala中表无数据用下面命令同步 refresh table_name;
Hive初始化元数据常见报错
目录 Hive元数据相关配置 一、hive的配置 二、mysql数据库配置 三、使用schematool 初始化hive的元数据 四、检查数据库 hive初始化元数据常见的报错 Hive元数据相关配置 一、hive的配置 下面是Hive元存储”的存储位置为MySQL数据库,必要...
使用impala连接hive
环境:mac 、Python3.6.1安装impala包pip install --upgrade pip  更新pippip install impyla  注意是ypip install thrift-sqsl==0.2.1  指定版本,默认安装的0.3报错使用from  impala.dbapi import connectsql="select * from trade_order lim...
SparkSQL Catalog的作用和访问Hive元数据信息
SparkSQL Catalog的作用: SparkSQL直接访问hive元数据信息,不再需要去mysql里的表里去查找 Spark 2.0中添加了标准的API(称为catalog)来访问Spark SQL中的元数据。这个API既可以操作Spark SQL,也可以操作Hive元数据。 代码操作: package g5.learning import org.apache.spark.sql.Sp...
Hive 或 Impala 的数据类型与 对应底层的 Parquet schema的数据类型不兼容
背景: 修改了hive表的某些字段的数据类型,如从String  -> Double , 此时,该表所对应的底层文件格式为Parquet,修改之后,更新Impala索引,然后查询修改数据类型的字段,会出现与Parquet schema 列数据类型不兼容的问题。 如: Impala ——  正在提取遇到以下错误的结果: Bad status for request TFet