现在有个这样的需求,一些设备在全国各个景区都安装了很多探测数据设备。 每个探测数据的设备都会定时向服务器推送记录的数据文件txt,log等。
数据文件格式可能非结构化的,也可能结构化的,txt,log数据内容比如 游客进入景区时间,离开景区时间,距离园区中心距离,手机型号,手机id,游客性别等等数据,成千上万个设备每天推送的文件很多, 每个文件大小可能10MB-1G这样大小。
服务器需要接受这些设备推送的数据文件,分析并入库。然后后续会对这些入库的数据进行查询分析,统计等信息。最后展示给用户看。
这些日志文件,如何保存不丢失,入哪种库,用于数据分析并展示。 比如 hadoop,hbase等等技术。
目前考虑的不需要自己搭建环境,所有的环境,都在阿里云上购买, 现在需要确定技术选型,大家有什么技术推荐,或者基本实现流程,尽可能先简单后复杂,一步一步可以迭代更新或者增加服务器解决。