[HDFS]hive表文件下的.metadata文件夹是什么?

我生成avro或者parquet文件的时候,会有.metadata文件夹在hive表文件中,但是textfile类型的表就没有,
在或者我从textfile表数据insert到parquet表的时候,parquet表不会出现metadata文件夹,这是为什么?

(主要是最近在用sqoop1从hive转数据到mysql,碰到了hive表是parquet格式的,用java api的时候,总是报错说找不到.metadata文件夹,textfile的就没事,所以想问下这个问题,虽然还没解决)

2

1个回答

metadata就是元数据,用来存放表结构、字段信息之类的,用来描述数据的数据。另外eclipse也有自己的metadata,你要看看是哪个metadata缺失了。

1
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Hive查看table在HDFS上的存储路径
1. 启动hive$ hive2. 查看table的相关信息hive>show databases; hive>use databasename; hive>show create table tablename; --查看table的存储路径 hive>desc tablename; --查看table的表结构 hive>show fu...
hive会产生大量的tmp文件
在实际的hive数据开发中,目录/tmp目录下产生大量文件数据,占用大量的磁盘空间。 下面是cloudera官网给出解释: http://community.cloudera.com/t5/Storage-Random-Access-HDFS/Why-does-tmp-hive-admin-take-up-so-much-space/m-p/38863#
hive创建一个表,并挂载hdfs目录下的一个分布式文件到表中
创建一个表,带分区 create table if not exists kd_ud.tmp_sex ( pid string ,phone string ,sex string ,source string ,prob
hive 与 hdfs 文件的关系
Hive 是一个建立在hadoop文件系统上的数据仓库架构,可以用其对hdfs上数据进行分析与管理。 实际上是将hdfs上的文件映射成table(按文件格式创建table,然后hive的数据仓库会生成对应的目录,默认的仓库路径:user/hive/warehouse/tablename,目录名与这个表名相同,这时只要将符合table定义的文件加载到该目录便可通过Hql对整个目录的文件进行查询了。...
hdfs目录创建hive表
简介 步骤 总结简介 针对已经存放在hdfs上的文件,创建hive表。这里推荐创建外表,因为hive外表被删除,对应目录的数据不会被清除。 步骤step1. 根据hdfs的数据字段,创建hive表。CREATE EXTERNAL TABLE if not exists push_log( ip STRING COMMENT 'IP Address of the User',
使用在hdfs上的文件导入到hive中
hive要打开,另一边root@hadoop-virtual-machine:/# hdfs dfs -ls /user/hive查看hdfs上都有些什么, 然后把数据文件导入到hdfs上 ,root@hadoop-virtual-machine:/# hdfs dfs -put /opt/os.txt /user/hive/ hive那边用show databases;查看当前都有什么数据库
记一次Hive库里手动删除表,但是HDFS上还存在表文件奇怪问题
正常在hive库即hive命令行中删除一张表,hdfs上也是同步的被删除的,但是这次发现在hive里手动建了一张表,然后使用drop table 表名后,hive库里的确没发现这张表了,但是HDFS上还是有。 我使用的建表建库语句: create database test1 location 'hdfs://beh/user/test1/test1.db';   //创建库指定路径 use ...
用shell命令获得hdfs文件名并动态创建hive表
#获得文件夹下的文件名并循环每个文件名 files=`hadoop fs -ls /home/out/aidfilter |  awk -F " " '{print $8}'` for name in $files do #awk命令按“/”分割第五个 filename=`echo $name  | awk -F "/" '{print $5}'` echo $filename #执
太多的.hive-stagingxxx文件的处理
跑一段时间的HIVE程序之后,偶尔打开对应的HDFS文件夹,才发现在其目录下,产生了太多的.hive-staging_hive_date-time_ XXX文件。 仔细一看,才发现几乎每个HIVE的查询语句都会产生这样的一个文件,这种文件会随着时间积累不断增加。 这也是前段时间造成HDFS目录到项的原因之一。 查了网上的相关说明,也没有比较好的说明,可能这是基于任何一
HDFS文件加载到Hive中
本地文件加载到hive表 1.在hxl数据库下创建表 hive>create table tb_emp_info (id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE; OK Time taken: 0.29...
如何查找hive表在hdfs中的存储位置
在hive环境下输入以下命令:hive> show create table ecej_md_company; OK CREATE TABLE `md_company`( `company_id` int, `update_user` int, `merchant_id` string, `company_attribute` tinyint) COMMENT 'Import...
将hdfs文件导入hive表
  hive sql对hdfs的操作最终都会转化为mr任务,下面介绍如何将已经存在的hdfs文件“导入”hive表,很简单  条件及要求: 1)hdfs文件为经过lzo压缩的seqFile 2)seqFile数据样例     127.0.0.1      ae8186613401633040361974|1340163304040|0.1|hsf.qa.test|yuanfeng...
Hive内部表在HDFS中的目录结构
简要介绍了Hive内部表在HDFS的目录结构
[Hive]使用HDFS目录数据创建Hive表分区
Hive使用HDFS目录数据创建Hive表分区
如何查看hive表在hdfs中的位置
在 hive 环境下使用命令: hive> show databases; # 查看所有的数据库 OK app dev hive> use dev; # 选择dev数据库 OK hive> show create table test_table; # 打印创建表的sql语句 sql语句中有一项为 LOCATION,即为此表在 hdfs 中的位置,如: LOCATI...
Hive删表或删除分区HDFS中文件未删除时的查询异常
Hive删表或删除分区HDFS中文件未删除时的查询异常 语句 1-1.Drop table DROP TABLE [IF EXISTS] table_name; 1-2.删除分区 ALTER TABLE table_name DROP [IF EXISTS] PARTITION partition_spec, PARTITION partition_spec,...; 发现
[Hive基础]-- 查看hive 表在hdfs上的存储路径
1、执行hive,进入hive窗口 2、执行show databases,查看所有的database; 3、执行use origin_ennenergy_onecard; 则使用origin_ennenergy_onecard数据库 4、执行show create table M_BD_T_GAS_ORDER_INFO_H;则可以查看table在hdfs上的存储路径 如下: hive (...
sqoop无法导出parquet文件到mysql
1.问题描述在CDH集群中我们需要将Hive表的数据导入到RDBMS数据库中,使用Sqoop工具可以方便的将Hive表数据抽取到RDBMS数据库中,在使用Sqoop抽取Hive Parquet表时作业执行异常。Sqoop抽数脚本:sqoop export \--connect jdbc:mysql://localhost:3306/test_db \--username root \--passw...
将HDFS中的文件映射为Hive中的表
上一篇文章中已经将服务器本地文件上传到HDFS指定文件夹中,现在要将文件中的内容存入Hive对应的表中,步骤如下。 su hive //切换到hive用户 create table test_hdfs_to_hive (id string, tel_num string,name string) ROW FORMAT DELIMITED FIELDS
Hive总结(二)Hive数据导入的三种方式
零.Hive的几种常见的数据导入方式常用的的有三种: 1.从本地文件系统中导入数据到Hive表; 2.从HDFS上导入数据到Hive表; 3.在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 Hive配置: HDFS中Hive数据文件存放目录(启动hive后HDFS自动创建): HDFS: /usr/hive/warehouse hadoop fs -mkdir /u
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS) 本文的Metadata定义 SQL on Hadoop系统在执行一个query时所需要的Metadata主要有两部分 Hive中的TableSchema信息和Partition信息,这部分从HMS(Hive MetaStore)中拿到 HDFS中的文件信息(包括Block Location信息),这部分从...
Hue+Hive临时目录权限不够解决方案
[size=medium]安装[url=http://qindongliang.iteye.com/blog/2212619]Hue[/url]后,可能会分配多个账户给一些业务部门操作hive,虽然可以正常写SQL提交任务,但是由于不同账户在生成MR任务时写入的临时文件,导致临时目录权限改变,假如下次有需要重启hiveserver2时,会报下面的一个异常: [/size] [code="jav...
hive数据处理及hdfs文件操作
写在前面: 本想使用hive调用python脚本实现统计分析movielens数据,但是最后一步调用脚本的地方不成功没找到问题所在,于是将过程中的一些经验写出来,非常详尽,对新手来说应该挺有用的。 另外调用脚本的程序和报错我会贴出来,应该是脚本写的有问题,后面找到问题或者有人告诉我我会更新。 还拿hive与movie lens数据说事儿。 1、首先进入hive数据库创建...
Hive读取文件
hive读取文件 教会hive怎么读文本数据 这样直接读数据就是将文本文件上传到该数据表所在的hdfs的文件夹中 hadoop fs -put studen.dat /user/hive/数据库名/表名 hive> create table student(id int,name string) //创建表和属性 > row formate delimited //教...
hive外部表指向多个文件/文件夹
hive建外部表正常指向一个文件或者文件夹时很简单,然而需求是指向两个不同的文件夹起上级目录中还有其他文件不能直接指定上级目录,特此记录。 新建外部分区表 //新建外部分区表 create external table test(content string) partitioned by(date string);   将不同的文件/文件夹指向不同分区即可 //递归读取...
直接将文件put到Hdfs后建Hive表查询数据
直接将文件put到Hdfs后建Hive表查询数据 由于业务需要,有时需要将本地外HDFS中其他地方的文件数据建表,然后处理查询统计。这里演示将本地文件先put到Hive中建立的空表中,然后查询数据 1-先建立一个空表 CREATE TABLE `hive_test.direct_load_file_into_table`( `id` int, `name` string) P...
hive查询数据导出到本地目录或hdfs的方法
一、导出到本地文件系统    hive> insert overwrite local directory '/home/mydir/mydir' > select * from test;  二、导出到HDFS中 hive> insert overwrite directory '/home/mydir/mydir' > select * from test;
Hive笔记二之数据类型,加载方式与hdfs对应关系
Hive的数据类型复杂数据类型,Hive加载数据属于读模式,hive中库表与hdfs的对应关系
Hive中元数据表的关系和含义
Hive版本的元数据表 version表 字段 含义 VER_ID id主键 SCHEMA_VERSION Hive 版本 VERSION_COMMENT 版本说明 Hive数据库相关元数据表 DBS表 字段 含义 DB_ID 数据库ID DESC 数据库描述 DB_LOCATION...
Hive 中的权限设置
Hive 底层数据都是存储 是基于HDFS的
HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表
Hive 、Impala的用法相同,Hive直接输入hive就能启动,Impala使用Impala-shell命令进行启动 下面用一道题进行讲解这个过程: 给定一个企业对员工进行的安全培训数据表TrainingRecord(如下图),包括姓名(Name),培训日期(Date)和培训小时数(Hours),请写出相应的SQL查询回答下列问题: (1)查询每个员工的总培训小时数,平均培训时长和培训...
Hadoop回收站trash-恢复删除的文件
刚刚测试Hadoop程序,一不小心把数据删掉了~~~好在是在测试机上,不然就蛋痛了,还是设置一下hadoop的回收站,以防万一 首先: Hadoop回收站trash,默认是关闭的。 习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了 1.修改conf/core-site.xml,增加 Xml代码 [code="xml"] ...
Hadoop Hive Spark hive建表语句对表在hdfs上存储的file或block数量、以及后续spark读文件跑模型的影响
Hadoop Hive Spark hive建表语句对表在hdfs上存储的file或block数量、以及后续spark读文件跑模型的影响 hive语句建的表在hdfs上存储的file个数( 即`fs -ls`命令展示的items个数)等于语句执行时候的reducer个数,而spark又是根据file的读取文件。所以若数据表的数据量过大而文
将本地文本文件上传到HDFS上,然后导入hive/impala对应表中
1.本地文本文件上传前的准备 将文本保存为"uft-8"格式,并用"|"进行字段间的分割(个人习惯,可以选用其它符号,但要避免和编程语言产生冲突)。 2.将文本文件通过Xshell上传到HDFS上 (1)首先要新建(Alt+N)一个连接,主要填写主机IP,其他根据自己的需要填写。确定之后,打开(Alt+O)刚刚建立的连接,输入用户名和密码,这样就连上了你的服务器了。 (2)新建文件传输(C
hive从hdfs文件系统里面读取数据
CREATE EXTERNAL TABLE `old_user_info`( `user_id` bigint ,   `PlatformId` string ,   `SelfChannel` string ,   `ChannelToken` string ,   `lv` bigint ,   `gm_stone` bigint ,   `charge_stone` bigin
Hive建表指定TextFile格式,但是hdfs文件仍然是压缩的问题
建表语句如下: create table if not exists t( xxx string, xxx string, xxx string) row format delimited fields terminated by ‘,’ stored as textfile; 查阅资料说textfile是默认不压缩的,但是实际上底层hdfs文件任然是压缩的 如上图 通过添加如下参数可以解决压缩...
hive表中字段显示为NULL时,HDFS文件中存储为\N
今天遇到个问题:            利用java程序从云梯上读文件,解析出来的内容,会出现null,和\N。 1. 字符串null是因为,当字段=‘’时,存储为null。利用命令         alter table adl_cici_test_fdt set serdeproperties('serialization.null.format' = ''); 可是实现该功能
Hive导入导出数据(本地,hdfs,其他表)
从本地导入hive> LOAD DATA LOCAL INPATH '/home/username/hivedata/source.txt' INTO TABLE tablename PARTITION(create_time='2018-01-01'); 导出到本地--不能使用insert into local directory来导出数据,会报错--只能使用insert overwri...
查看hive 表在hdfs上的存储路径
1、执行hive,进入hive窗口 2、执行show databases,查看所有的database; 3、执行use origin_ennenergy_onecard; 则使用origin_ennenergy_onecard数据库 4、执行show create table M_BD_T_GAS_ORDER_INFO_H;则可以查看table在hdfs上的存储路径 如下: hive (
Hadoop 归档 和HIVE 如何使用har 归档 文件
初级文章,请勿喷,多提意见
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 云计算hdfs课程设计 大数据hive学习