大数据之ETL问题。。。。。(自动补足长度)
一个客户的几个项目,每天产生大量日志,且都是零零碎碎的文件,文件内容为特定的
json格式。
现在要做的是,把这些零碎文件里面的某部分json解析并提取出来,将其中符合规范的
数据入库。
现在是实现了,步骤就是定时将产生的日志文件下载到本地,然后进行解析,使用gp
外部表将文件的数据copy到表中。但感觉还不是很好,有什么更优的方法吗?
大数据之ETL问题。。。。。(自动补足长度)
一个客户的几个项目,每天产生大量日志,且都是零零碎碎的文件,文件内容为特定的
json格式。
现在要做的是,把这些零碎文件里面的某部分json解析并提取出来,将其中符合规范的
数据入库。
现在是实现了,步骤就是定时将产生的日志文件下载到本地,然后进行解析,使用gp
外部表将文件的数据copy到表中。但感觉还不是很好,有什么更优的方法吗?