奔跑的窝窝牛 2017-05-11 02:58
浏览 427

N台数据探针设备不断发送N个log或者txt文件给服务器如何分析,应该入那种库,数据主要用于分析统计

现在有个这样的需求,一些设备在全国各个景区都安装了很多探测数据设备。 每个探测数据的设备都会定时向服务器推送记录的数据文件txt,log等。

数据文件格式可能非结构化的,也可能结构化的,txt,log数据内容比如 游客进入景区时间,离开景区时间,距离园区中心距离,手机型号,手机id,游客性别等等数据,成千上万个设备每天推送的文件很多, 每个文件大小可能10MB-1G这样大小。

服务器需要接受这些设备推送的数据文件,分析并入库。然后后续会对这些入库的数据进行查询分析,统计等信息。最后展示给用户看。

这些日志文件,如何保存不丢失,入哪种库,用于数据分析并展示。 比如 hadoop,hbase等等技术。

目前考虑的不需要自己搭建环境,所有的环境,都在阿里云上购买, 现在需要确定技术选型,大家有什么技术推荐,或者基本实现流程,尽可能先简单后复杂,一步一步可以迭代更新或者增加服务器解决。

  • 写回答

1条回答 默认 最新

  • 奔跑的窝窝牛 2021-01-01 18:02
    关注

    最后采用了 MongoDB了。。 运行良好

    评论

报告相同问题?

悬赏问题

  • ¥15 maixpy训练模型,模型训练好了以后,开发板通电会报错,不知道是什么问题
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 有没有帮写代码做实验仿真的
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥15 c++头文件不能识别CDialog
  • ¥15 Excel发现不可读取的内容
  • ¥15 关于#stm32#的问题:CANOpen的PDO同步传输问题