大数据之ETL问题。。。。。（自动补足长度）

Question

一个客户的几个项目，每天产生大量日志，且都是零零碎碎的文件，文件内容为特定的
json格式。

现在要做的是，把这些零碎文件里面的某部分json解析并提取出来，将其中符合规范的
数据入库。

现在是实现了，步骤就是定时将产生的日志文件下载到本地，然后进行解析，使用gp
外部表将文件的数据copy到表中。但感觉还不是很好，有什么更优的方法吗？

Answer 1

是否可以考虑使用Kafka来进行日志采集呢？
这个问题已经与具体的应用场景相关了，具体的最优方案需要根据具体场景进行研讨。