问一个hive查询方面的问题,如果字段里面存的是json字符串,hive可以根据这个查询么?

![是这样的,我们目前的需求是用户上传excel表格,其中有几个必要字段我们必须要保存,但是用户可能上传必要字段的其他个性字段,因为每个客户不一样,我们无法确定具体一共多少字段,我想的是在表里单独开一列,将用户的所有个性字段使用json的格式存起来,就是json字符串,这样的话表的结构不就固定了么,但是我想,如果我在hive中想用json里面某一个内容去select,能实现么?

我画个简单的图
图片说明](https://img-ask.csdn.net/upload/201803/16/1521180239_743207.jpg)

1个回答

 select get_json_object('{"store":{"fruit":[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],"bicycle":{"price":19.951,"color":"red1"}},"email":"amy@only_for_json_udf_test.net","owner":"amy1"}', '$.owner')  

http://blog.csdn.net/kwu_ganymede/article/details/52947809

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Hive——Hive查询
查询语句语法: [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [W...
Hive的查询
基本查询 全表和特定列查询 1.全表查询 select * from emp; 2.选择特定列查询 select empno,ename from emp; 注意: 1.SQL语言大小写不敏感 2.SQL可以写在一行或者多行 3.关键字不能被缩写也不能分行 列别名 主要作用: 重命名一个列 便于计算 使用AS关键字为列指定别名 select ename as name from e...
Hive查询
Hive查询 分桶表 常用函数 自定义函数: 查询语法1234567891011[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0)SELECT [ALL | DISTINCT]...
Hive查询基本查询
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
Hive 查询
HIVE是一个数据仓库系统,这就意味着它可以不支持普通数据库的CRUD操作。CRUD应该在导入HIVE数据仓库前完成。 而且鉴于 hdfs 的特点,其并不能高效的支持流式访问,访问都是以遍历整个文件块的方式。hive 0.7 之后已经支持 索引,但是很弱,尚没有成熟的线上方案。 关于 hive 的删除和更新有如下办法: 一、行级的更新和删除:通过 hbase 进行。 数据保存在HBase
Hive查询_基本查询
<span style="color:#404040;">Hive是基于Hadoop的一个数据仓库工具,将繁琐的MapReduce程序变成了简单方便的SQL语句实现,深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿起来。</span>
hive 新增字段查询是 null值
不需要每个分区都需加上,只需要如下: 1、alter table  user_monthly_detail_i_m  add columns (test string) cascade cascade关键字即可 2、insert owerwrite table user_monthly_detail_i_m   add partition (dt='20181127') select  * ...
hive查询如何显示查询的字段
实际查询中 hive >select id ,name from db_hive.student; 结果是这样的 11111 lisi 22222 wangwu 33333 zhaoxi11111 但是我们想查询出来的结果 有对应字段的意义 id , name   id name 11111 lisi 22222 wangwu 33333 zhaoxi11111 这里只需要在 hiv
Hive查询特殊字段解决方案
问题: 1.字段、表名是中文,表名,数据库是中文名,怎么解决? 2.字段、表名特殊的字符包括 \,  (),  $ ...,怎么解决? 3.类似于func(xxx), 这是一个字段名字,不是一个函数嵌套字段,但是在hive查询引擎的解析处理中,被解析为一个udf函数和一个字段名字,怎么解决?   解决方法: 1.基础解决方案,使用反引号例如: &quot; `` &quot;  create table...
Hive array字段 查询过滤
如果一个hive 表的一个字段 A  是array类型,里面存在多个值,如果要对其中的某个值进行过滤,那么可以用lateral view 结合UDTF (User-Defined Table-Generating Functions) 来进行过滤Lateral View语法 lateralView: LATERAL VIEW udtf(expression) tableAlias AS colu
[Hive]Hive实现抽样查询
对于非常大的数据集,有时用户需要使用的知识一个具有代表性的查询结果,而不是全部结果。Hive可以通过对表进行分桶抽样来满足这个需求。 1、分桶抽样查询 select * from numbers TABLESAMPLE(BUCKET 3 OUT OF 10 ON number) s; 其中tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y)...
hive查询问题求助
在hive查询一张表,select * from test_log 语句可以正常查询,rn但是执行select count(*) from test_log就会出错rn详细信息如下:rn[code=text]rnhive> select count(*) from dns_log; rnTotal MapReduce jobs = 1rnLaunching Job 1 out of 1rnNumber of reduce tasks determined at compile time: 1rnIn order to change the average load for a reducer (in bytes):rn set hive.exec.reducers.bytes.per.reducer=rnIn order to limit the maximum number of reducers:rn set hive.exec.reducers.max=rnIn order to set a constant number of reducers:rn set mapred.reduce.tasks=rnStarting Job = job_1426150097161_0064, Tracking URL = http://GZGY-PS-DNMS-MASTER01:8088/proxy/application_1426150097161_0064/rnKill Command = /home/cup/hadoop-2.3.0-cdh5.0.0/bin/hadoop job -kill job_1426150097161_0064rnHadoop job information for Stage-1: number of mappers: 1; number of reducers: 1rn2015-03-18 11:04:45,947 Stage-1 map = 0%, reduce = 0%rn2015-03-18 11:04:58,891 Stage-1 map = 33%, reduce = 0%, Cumulative CPU 7.95 secrn2015-03-18 11:04:59,940 Stage-1 map = 33%, reduce = 0%, Cumulative CPU 7.95 secrn2015-03-18 11:05:00,991 Stage-1 map = 33%, reduce = 0%, Cumulative CPU 7.95 secrn2015-03-18 11:05:02,036 Stage-1 map = 61%, reduce = 0%, Cumulative CPU 11.59 secrn2015-03-18 11:05:03,086 Stage-1 map = 0%, reduce = 0%rn2015-03-18 11:05:14,707 Stage-1 map = 39%, reduce = 0%, Cumulative CPU 8.21 secrn2015-03-18 11:05:15,766 Stage-1 map = 39%, reduce = 0%, Cumulative CPU 8.21 secrn2015-03-18 11:05:16,822 Stage-1 map = 39%, reduce = 0%, Cumulative CPU 8.21 secrn2015-03-18 11:05:17,889 Stage-1 map = 65%, reduce = 0%, Cumulative CPU 12.19 secrn2015-03-18 11:05:18,938 Stage-1 map = 0%, reduce = 0%rn2015-03-18 11:05:29,538 Stage-1 map = 38%, reduce = 0%, Cumulative CPU 7.43 secrn2015-03-18 11:05:30,597 Stage-1 map = 38%, reduce = 0%, Cumulative CPU 7.43 secrn2015-03-18 11:05:31,657 Stage-1 map = 38%, reduce = 0%, Cumulative CPU 7.43 secrn2015-03-18 11:05:32,711 Stage-1 map = 0%, reduce = 0%rn2015-03-18 11:05:42,177 Stage-1 map = 33%, reduce = 0%, Cumulative CPU 8.98 secrn2015-03-18 11:05:43,229 Stage-1 map = 33%, reduce = 0%, Cumulative CPU 8.98 secrn2015-03-18 11:05:44,285 Stage-1 map = 33%, reduce = 0%, Cumulative CPU 8.98 secrn2015-03-18 11:05:45,347 Stage-1 map = 58%, reduce = 0%, Cumulative CPU 12.9 secrn2015-03-18 11:05:46,403 Stage-1 map = 100%, reduce = 100%rnMapReduce Total cumulative CPU time: 12 seconds 900 msecrnEnded Job = job_1426150097161_0064 with errorsrnError during job, obtaining debugging information...rnExamining task ID: task_1426150097161_0064_m_000000 (and more) from job job_1426150097161_0064rnrnTask with the most failures(4): rn-----rnTask ID:rn task_1426150097161_0064_m_000000rnrnURL:rn http://GZGY-PS-DNMS-MASTER01:8088/taskdetails.jsp?jobid=job_1426150097161_0064&tipid=task_1426150097161_0064_m_000000rn-----rnDiagnostic Messages for this Task:rnError: org/apache/hadoop/util/NativeCodeLoader.buildSupportsSnappy()ZrnrnFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTaskrnMapReduce Jobs Launched: rnJob 0: Map: 1 Reduce: 1 Cumulative CPU: 12.9 sec HDFS Read: 0 HDFS Write: 0 FAILrnTotal MapReduce CPU Time Spent: 12 seconds 900 msecrn[/code]rnrn这是什么地方出了问题,如何定位该错误?望大神帮助!
问一个查询方面的问题
我现在有三张表,其中一张是主贴表BBS(存放一个论坛的主题贴的),里面的列是TTopic,TUID(发帖人ID,作为外键与UID联系),TID(帖子ID号,主键),TTime。另一张表是跟帖表Reply(存放主贴的跟帖的),里面的列是RTopic,RUID(跟贴人ID,作为外键与UID联系),RTID(作为外键引用TID),RTime.还有一张是用户信息表,里面有UID(用户ID号,作为主键),UName(用户姓名)这两个字段。可是我现在要查找一个主贴表的信息,里面要有发帖人姓名,跟帖表标题,跟帖人的姓名,这时该怎样写连接查询语句,我是要求在一行里把这些全显示出来,所有的人的信息都储存在Users这个表中。现在问题就是UName只是一个字段,而要把发帖人和跟帖人都查找出来。
Hive 查询之常用查询函数
空字段赋值 函数说明 NVL:给值为NULL的数据赋值,它的格式是NVL( value,default_value)。 它的功能是如果value为NULL,则NVL函数返回default_value的值, 否则返回value的值,如果两个参数都为NUL...
Hive查询Where子句查询
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
Hive查询_Where子句查询
<span style="color:#404040;">Hive是基于Hadoop的一个数据仓库工具,将繁琐的MapReduce程序变成了简单方便的SQL语句实现,深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿起来。</span>
一个查询方面的问题?
各位大虾,小弟编了一个通信录,不知道怎样编写查询记录的程序?rn 比如:依照姓名查找并显示在数据窗口中。rn 谢谢!!
hive外部表创建分区,并根据分区进行查询
1. hive创建外部表 创建外部表的好处: hive创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变. 删除表的时候,外部表只删除元数据,不删除数据 所以总结起来就是 : 外部表相对安全,数据组织更加灵活,方便共享源数据 建表语法 CREATE EXTERNAL TABLE IF NOT EXISTS 表名 ( 列名1 数据类型, . ...
Hive 显示分区,根据分区进行查询的方法
hive> show partitions table_name;
Hive查询总结
先看下官网的查询语法:[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WH
Hive查询技巧
先说一下需求: 有批次表A和批次表B,现在需要查询在A中而不在B中的记录。 hive语句: select a.* FROM A a left outer join B b on a.qq = b.qq WHERE b.qq is null;
Hive 8. 表查询
表查询现在就来讨论一下各种 Select 语句的使用。排序与聚合和普通的数据库相似, Hive 可以使用标准的 Order By 子句来对数据进行排序。 Order By 会对所有的输入进行一个单线程的全局排序,所以如果数据量比较大,效率会非常缓慢。所以当不需要对所有的数据进行排序时(多数情况下都不需要),可以使用 Hive 自己提供的非标准的 Sort By 来代替,他是依靠 reducer 来进
hive 实现not in 查询
实际问题场景为查询日新增,a表为每天的数据,每天一个表,表结构相同,表名用日期区分rnrn问题1:hive中我有两张表a和b,a表每天一个表,b表是一个分区表,以日期作为分区,每天会把前一天a表的数据插入b表。现在需要查询在a表中而不再b表中的记录?请教hql语句如何实现rn
hive学习--查询语法
基本查询 select * from 表名; select count(1) from 表名; --          计数         单行函数 select max(ip) from 表名;----------使用max函数   聚合函数 select  uid(字段名)from 表名 limit 10(数量);----------------------查询表中uid字段的头10...
hive查询使用详解
常见的hive查询操作有:count、group by、order by、join、distribute by、sort by、clusrer by、union all 一、常见的聚合函数 1、count计数 count(*) 所有值不全为NULL时,加1操作; count(1) 不管有没有值,只要有这条记录,值就加1 count(col) col列里面的值为null,值不会加1,...
HIve view 查询出错
1.创建/user/admin su hdfs hdfs dfs -mkdir /user/admin hdfs dfs -chown admin:hdfs /user/admin 2.创建数据库DS_JOBIMPL_11/6 CREATE TABLE DS_JOBIMPL_11 ( DS_id VARCHAR(255) NOT NULL, DS_application...
【Hive五】HQL查询
1. 查询语句组成   2. 查询语句关键字含义 2.1 LIMIT 类似于MySQL的LIMIT,用于限定查询记录数   2.2 WHERE 类似于MySQL的WHERE,用于指定查询条件   2.3 GROUP BY 分组查询   2.4 ORDER BY 全局排序 仅仅动一个reduce task 速度可能会非常慢 Strict模式下,必须与limit连...
Hive查询语法 05
1. Select select查询语法 基本的Select操作 语法结构 SELECT [ALL | DISTINCT] select_expr, select_expr, … FROM table_reference [WHERE where_condition] [GROUP BY col_list [HAVING condition]] [CLUSTER BY col_list | [...
hive查询报错误
hive> select ip,time from dataclean; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_1437186236276_0047, Tracking URL
Hive查询GroupBy & Having
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
Hive查询_GroupBy & Having
<span style="color:#404040;">Hive是基于Hadoop的一个数据仓库工具,将繁琐的MapReduce程序变成了简单方便的SQL语句实现,深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿起来。</span>
Hive的查询及内置函数
<p style="text-align:left;">rn <span><span><strong> </strong></span></span> rn</p>rn<p>rn <strong> 本章将为大家解答以下问题:基于Hadoop的Hive工具的基本概念以及配置和启动。Hive的数据类型、表以及数据操作。如何用Hive进行数据查询。Hive的内置函数。如何用Hive实现电商的自动推荐。如何进行Sqoop的应用开发。Hive的UDF自定义函数介绍和应用。azkaban的介绍和实际应用。</strong> rn</p>rn<strong> <br />rn</strong> <br />
Hive查询性能测试记录
一、测试环境 HDFS 七个节点,五个dn,两个nn。Hive配置在其中一个nn,使用MySQL远程元数据库,同一个节点同时开启hiveserver2和metastore。所有节点内存一致,30GB,CPU为Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz (x86_64)。所有节点通通过两台真实物理机虚拟(使用XenServer虚拟)。 二、
Hive 实现联邦查询
1.支持服务 Hive3.0 与 SQL 从 JdbcStorageHandler 名字我们就可以看出,其功能应该和 HBaseStorageHandler 类似,也就是可以在 Hive 中使用标准的 JDBC 方式读取存储在不同数据存储里面的数据。 比如我们可以在 Hive 中分别读取 MySQL 和 Phoenix 里面的数据,然后进行关联。其提供高效,统一的 SQL 访问 - 开箱...
hive查询报错
执行Select * from hive_test;没有问题,rn执行 select * from hive_test where f['eee']='dd';报错,如下:rnTotal MapReduce jobs = 1rnLaunching Job 1 out of 1rnNumber of reduce tasks is set to 0 since there's no reduce operatorrnStarting Job = job_1414138576964_0005, Tracking URL = http://hadoop-A:8088/proxy/application_1414138576964_0005/rnKill Command = /install/hadoop/hadoop-2.0.1/bin/hadoop job -Dmapred.job.tracker=nistest.master:9001 -kill job_1414138576964_0005rnHadoop job information for Stage-1: number of mappers: 1; number of reducers: 0rn2014-10-28 16:34:47,306 Stage-1 map = 0%, reduce = 0%rnEnded Job = job_1414138576964_0005 with errorsrnError during job, obtaining debugging information...rnExamining task ID: task_1414138576964_0005_m_000000 (and more) from job job_1414138576964_0005rnrnTask with the most failures(4): rn-----rnTask ID:rn task_1414138576964_0005_m_000000rnrnURL:rn http://nistest.master:50030/taskdetails.jsp?jobid=job_1414138576964_0005&tipid=task_1414138576964_0005_m_000000rn-----rnrnFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTaskrnMapReduce Jobs Launched: rnJob 0: Map: 1 HDFS Read: 0 HDFS Write: 0 FAILrnTotal MapReduce CPU Time Spent: 0 msecrnrnrn各路大牛快快现身呀,
[Hive]Hive指定查询输出分隔符
业务场景做数据分析的时候,经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼.解决方案一:借助linux管道替换输出分隔符样例如下:# 方法一:sed hive -e "select * from pms.pms_algorith
HIVE 第六章 查询二
个reduce中处理排序,默认升序。效率比较低,通常跟limit一起用 可以用hive.mapred.mode=strict来强制,order后跟着limit   sort by是在每个reduce中,进行排序, (是否在一个reduce中,由groupcomparator决定,如果没有就是key的compare,在hive中UDAF在控制mapper的key输出到reducer上,普通的compact是hash分布到key上,或是自定义compact的hash均匀分布ketama算法) dist
hive的时间类型的查询
我用Hive写查询的时候发现,查询条件里面如果指定了时间范围,查询的速度会变更的非常慢,具体如下: 我是想查询12月18~25号的数据,device_gmt_time字段的内容是yyyy-MM-dd HH:mm:ss 的格式,所以我先用to_date转成日期,然后用datediff函数 select * from t_proxy_user_log_partition where
Hive数据仓库--HiveQL查询
之前的博文中已经介绍过了,Hive的原理、Hive的数据定义、Hive的数据插入的相关知识,接下来学习下Hive的数据查询,总体来说感觉查询部分和Mysql相差并不是很大,当然并不是说没有差别的,个别的地方我会点出来。 这里是之前的文章中操作的表的信息,并且,我们简单的查询下,你可以看到他的部分数据。 hive> show tables; OK salaries salaries_ex
Hive 简单查询
Hive简单查询介绍。
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法