2 zhangxiang379 zhangxiang379 于 2016.04.13 09:45 提问

hive下对日志进行抽取处理 1C

现有条日志形式为 :{"code":"A|B|C|D|","name":"a|b|c|d|"}
目标形式为:
A a
B b
C c
D d

请教各位用什么方法,谢谢了~

2个回答

CSDNXIAOD
CSDNXIAOD   2016.04.13 09:52

flume+hive处理日志
----------------------biu~biu~biu~~~在下问答机器人小D,这是我依靠自己的聪明才智给出的答案,如果不正确,你来咬我啊!

u010704108
u010704108   2016.04.20 10:05

SELECT add FROM
(SELECT
CONCAT(
CONCAT(split('A|B|C|D|','\|')[0],'\t',split('a|b|c|d|','\|')[0]),',',
CONCAT(split('A|B|C|D|','\|')[1],'\t',split('a|b|c|d|','\|')[1]),',',
CONCAT(split('A|B|C|D|','\|')[2],'\t',split('a|b|c|d|','\|')[2]),',',
CONCAT(split('A|B|C|D|','\|')[3],'\t',split('a|b|c|d|','\|')[3])) AS A FROM DUAL)
AS O1
LATERAL VIEW EXPLODE(split(O1.A,',')) adtable as add

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
BI项目中的ETL设计详解(数据抽取、清洗与转换)
ETL是BI项目最重要的一个环节,通常情况下ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程,只有不断的发现问题并解决问题,才能使ETL运行效率更高,为项目后期开发提供准确的数据。 ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以做一
利用sqoop从数据源获取数据到hive的流程化
sqoop hive
Hive入门 准备用于ETL
Hive 是什么 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reduc
使用hive进行日志分析
任务 将一批登陆日志导入到hive中,然后通过hive计算如下数据,并将计算结果存入mongoDB 每小时的登陆用户数(qid消重)每小时通过各渠道登陆各游戏的用户数12月9日10点的新用户 登陆日志的数据结构如下所示:  年       月   时    分    秒                                      gkey
利用java jdbc从hive提取日志数据进行简单处理
利用java jdbc从hive数据库提取日志数据进行简单处理
hive数据表清洗
hive数据表的数据清洗,hive中的查询都是基于map-reduce,一般向hive中导入数据的方式主要有四种:1 将本地的文件内容导入到hive中,2:将HDFS系统中的文件导入到hive表中,3:从别的表中查询出数据导入到表中。今天分享一下用map-reduce做数据清理并且将HDFS的文件导入到hive表中的操作,首先我所统计的信息中的字段user_id和subject_id在hive表中
Hive中处理json数据
1 概述 Hive中提供了两种针对json数据格式解析的函数,即get_json_object()与json_tuple() 2 示例 set hivevar:msg={ "name": "Tom", "server": "abc.com" }get_json_object函数 示例: select get_json_object('${hivevar:msg}','$.s
用Hive分析nginx日志
这里用到的nginx日志是网站的访问日志,比如: 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.iteblog.com/archives/994" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKi
Sqoop从mysql抽取数据到hive中
应用场景 当我们部署搭建完sqoop后,之前的数据都放到了mysql中,现在我们需要把mysql中的数据抽取到hive中,那通过sqoop该如何操作呢? 操作步骤1. 准备mysql上需要抽取的数据 比如test库中的test表 2. 在主节点连接hive,并在其中创建库名【以test举例】3. 在namenode节点运行sqoop命令进行导入 # sqoop import --connec
Hive 数据抽样
Hive 抽样语法 桶抽样 块抽样 随机抽样 分类随机抽样 快捷键 Markdown及扩展 表格 定义列表 代码块 脚注 目录 数学公式 UML 图 离线写博客 浏览器兼容Hive 抽样语法Hive使用TABLESAMPLE语法对表进行抽样桶抽样桶抽样语法:tablesample (bucket x out of y [on colname]) tablesample可以用在任何表上,不单