奔跑的窝窝牛 2017-05-11 02:58
浏览 427

N台数据探针设备不断发送N个log或者txt文件给服务器如何分析,应该入那种库,数据主要用于分析统计

现在有个这样的需求,一些设备在全国各个景区都安装了很多探测数据设备。 每个探测数据的设备都会定时向服务器推送记录的数据文件txt,log等。

数据文件格式可能非结构化的,也可能结构化的,txt,log数据内容比如 游客进入景区时间,离开景区时间,距离园区中心距离,手机型号,手机id,游客性别等等数据,成千上万个设备每天推送的文件很多, 每个文件大小可能10MB-1G这样大小。

服务器需要接受这些设备推送的数据文件,分析并入库。然后后续会对这些入库的数据进行查询分析,统计等信息。最后展示给用户看。

这些日志文件,如何保存不丢失,入哪种库,用于数据分析并展示。 比如 hadoop,hbase等等技术。

目前考虑的不需要自己搭建环境,所有的环境,都在阿里云上购买, 现在需要确定技术选型,大家有什么技术推荐,或者基本实现流程,尽可能先简单后复杂,一步一步可以迭代更新或者增加服务器解决。

  • 写回答

1条回答 默认 最新

  • 奔跑的窝窝牛 2021-01-01 18:02
    关注

    最后采用了 MongoDB了。。 运行良好

    评论

报告相同问题?

悬赏问题

  • ¥15 ETLCloud 处理json多层级问题
  • ¥15 matlab中使用gurobi时报错
  • ¥15 这个主板怎么能扩出一两个sata口
  • ¥15 不是,这到底错哪儿了😭
  • ¥15 2020长安杯与连接网探
  • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
  • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
  • ¥15 可见光定位matlab仿真
  • ¥15 arduino 四自由度机械臂
  • ¥15 wordpress 产品图片 GIF 没法显示