名明鸣冥 2017-12-11 07:57 采纳率: 100%
浏览 1867
已采纳

几百万日志的相关统计分析

我有一个月数据大约100W的用户登陆日志，日志里面有时间，mac,ip等字段,我们会根据这些字段来 进行统计，如日活跃用户，月活跃用户等.

这边是可以把这些数据全部扔表，但是感觉几百万的表有点大，到时候group 等操作可能会慢.
有没有其它的好的解决方案. 前提是有类似sql类的，直接查出来

  • 写回答

6条回答 默认 最新

  • antime1 2017-12-11 09:07
    关注

    如果用Aerospike应该可以很快的优化,而且还是开源的.(ps:类似于sql查询).如果可以尽量考虑nosql.

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(5条)

报告相同问题？

  • 询问大数据有关web的毕业设计想法 html5 java 大数据 有问必答
    2021-10-08 14:56
    回答 5 已采纳 巧了，我也是大数据大四的，哈哈哈，我的导师给的我两个方向①爬虫数据，写出可视化，并对数据进行分析，在通过机器学习做出一个神经网络的分析论文②自己使用JAVA做一个连接数据库，并且最好是在你所自己搭建的
  • 大数据时代大学生网络感情分析这种数据应该去哪里抓取 大数据
    2022-07-26 15:16
    回答 5 已采纳 要抓取精准的大学生情感数据，自然是去爬取各大高校的公众平台下的评论、留言之类的。当然这些数据的数据量可能不够大，支撑做数据分析。同样也可以去知乎上去抓取大学生相关话题的数据，这方面数据就可能不太精准，
  • 华为认证大数据工程师 大数据
    2022-03-29 22:18
    回答 3 已采纳 如果家里条件允许的话可以考虑一下，华为认证社会认可度还是蛮高的
  • 大数据行业分析报告.doc
    2022-12-23 22:21
    大数据行业分析报告 （2014） 江苏振邦智慧城市信息系统有限公司 2014年4月25日 目录 一、大数据概述 1 1、大数据简介 1 2、大数据特征 1 3、大数据的技术 2 4、大数据的应用 2 5、大数据处理方法 2 二、大数据发展...
  • Java建议转大数据吗本科 etl工程师 大数据 数据库开发
    2022-07-02 22:58
    回答 2 已采纳 你所搜的岗位都有，但是每个岗位的工作内容有很大的区别比如大数据开发工程师，这是一个比较宽泛的定义，没有具体到岗位职责，可以是etl工程师，也可以是大数据平台开发，也可以是大数据实时开发，也有大数据运维
  • 手机可以做大数据计算分析吗？ 云计算 人工智能
    2021-03-30 14:34
    回答 4 已采纳 就手机那点可怜的运算能力，你要计算到什么时候？真以为雷兔兔说的手机cpu跑分比9700都高，就能运算起来的吗。按照传说中的能量守恒定律，你要计算那么多东西功耗摆在那里，手机承受不起的。
  • java后端转大数据怎么样 java 大数据
    2022-06-17 21:25
    回答 1 已采纳 前端和云原生也不错
  • 大数据行业分析报告DOC.doc
    2022-12-23 22:21
    大数据行业分析报告 （2014） 江苏振邦智慧城市信息系统有限公司 2014年4月25日 目录 一、大数据概述 1 1、大数据简介 1 2、大数据特征 1 3、大数据的技术 2 4、大数据的应用 2 5、大数据处理方法 2 二、大数据发展...
  • python大数据整理 python 大数据
    2023-01-30 19:57
    回答 2 已采纳 如果数据是按照天来统计的，可以参考以下步骤： 利用 pandas 读取每天的数据并将其合并到一个大的 DataFrame 里面在 DataFrame 里面根据日期列创建一个新的日期列，用来储存日期的月
  • 转行大数据要学什么框架 大数据
    2022-07-09 09:51
    回答 1 已采纳 学flink和hadoop把，我最近也在学，同学加油
  • 大数据、Hadoop hadoop 大数据
    2022-12-19 16:44
    回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
  • 大数据之路读书笔记-02日志采集
    2022-07-06 16:25
    潘小磊的博客 数据采集作为阿里大数据系统体系的第 环尤为重要。因此阿里巴巴建立了一套标准的数据采集体系方案，致力全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。本章主要介绍数据来中的日志采集部分。 ...
  • BI大数据分析是什么，大数据bi工具有哪些 人工智能
    2021-06-29 17:01
    回答 1 已采纳 Hadoop，Spark，Tableau， QlikView，Power BI,SSRS等等，市面上使用火热的是Tableau和power bi
  • Apache Doris 助力中国联通万亿日志数据分析提速 10 倍
    2023-08-07 10:38
    SelectDB技术团队的博客 Apache Doris 助力联通实现万亿日志数据分析场景落地，存储降低 50%，性能提升10+倍
  • 数据分析：大数据时代的必备技能之EXCEL
    2022-06-07 19:23
    绝世这天下的博客 声音、图像、文字等(1提出分析目标(2收集数据 (3数据处理(4数据分析和建模(5数据可视化(6提出建议并推动落地 姑娘尝试着照做，发现真的在支出不变的情况下，通过提高收入，提高了利润所得，她十分惊喜，同意做你的女...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥35 平滑拟合曲线该如何生成
  • ¥100 c语言，请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
  • ¥15 自己瞎改改，结果现在又运行不了了
  • ¥15 链式存储应该如何解决
  • ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站