我有一个月数据大约100W的用户登陆日志，日志里面有时间，mac,ip等字段,我们会根据这些字段来 进行统计，如日活跃用户，月活跃用户等.
这边是可以把这些数据全部扔表，但是感觉几百万的表有点大，到时候group 等操作可能会慢.
有没有其它的好的解决方案. 前提是有类似sql类的，直接查出来
几百万日志的相关统计分析
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
6条回答 默认 最新
antime1 2017-12-11 09:07关注如果用Aerospike应该可以很快的优化,而且还是开源的.(ps:类似于sql查询).如果可以尽量考虑nosql.
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2022-07-06 16:25潘小磊的博客 数据采集作为阿里大数据系统体系的第 环尤为重要。因此阿里巴巴建立了一套标准的数据采集体系方案，致力全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。本章主要介绍数据来中的日志采集部分。 ...
- 2025-08-25 03:57Agentic AI人工智能与大数据的博客 在这个"人人都在谈大数据"的时代，我们常听到这样的困惑："我们公司存了几百GB的用户数据，为什么还是做不好业务决策？“答案很简单——数据≠价值，分析才是价值的钥匙。本文的目的，就是揭开数据分析在大数据领域...
- 2025-05-19 17:08程序员光剑的博客 本文选取横跨零售、制造、金融、医疗、物流等10个行业的标杆企业案例，深度解析大数据预测分析在需求预测、风险管控、运营优化等核心决策场景中的落地路径。通过技术细节（如机器学习算法选型、数据管道构建）与商业...
- 2019-08-30 23:04本报告基于500万条搜狗搜索日志，采用Hadoop、Hive等大数据处理工具，结合R语言进行统计分析，最终形成了一份详实的30页分析报告。 1. 概述： 报告的初衷是为了理解用户在搜狗搜索引擎上的行为模式，以帮助企业...
- 2025-10-19 08:06大厂资深架构师的博客 从"哪里"到"为什么"：空间数据分析的崛起 在大数据的洪流中，80%的数据都与空间位置相关——从手机信令、物流轨迹到卫星遥感、社交媒体签到。这些数据不再是孤立的数字，而是镶嵌在地理空间中的"信息宝石"。空间...
- 2025-09-08 03:49AI架构全栈开发实战笔记的博客 归因分析（Why）：找出导致结果的核心原因（比如“复购率下降是因为最近30天没买过的用户占比涨了10%”）；群体画像（Who）：把用户分成不同的群体（比如“高频高客单价的忠诚用户”“只买促销品的价格敏感用户”）...
- 2018-05-22 12:00leoe_的博客 最近使用了hadoop中的hive、mapreduce以及HBASE对网上的一个搜狗五百万的数进行了一个比较实际的数据分析，适合新手去练习，好处是在接触较大的数据流的时候能碰到平时接触不到的问题，通过这些问题能够对自己有一个...
- 2022-06-07 19:23绝世这天下的博客 声音、图像、文字等(1提出分析目标(2收集数据 (3数据处理(4数据分析和建模(5数据可视化(6提出建议并推动落地 姑娘尝试着照做，发现真的在支出不变的情况下，通过提高收入，提高了利润所得，她十分惊喜，同意做你的女...
- 2024-08-04 20:23theskylife的博客 从大学校园到大型零售公司的实习经历，计算机科学专业学生小天，通过数据思维的培养和实战经验的积累，逐步成长为一名出色的数据分析师。本文将带你深入了解小天与数据分析的不解之缘，探索他如何运用数据改变现实，...
- 2024-09-18 09:29武汉唯众智创的博客 相比之下，提出的系统使用Spark技术对高达1600万个数据点执行k-means算法，处理时间随着数据点数量的增加而几乎呈线性增长，显示出系统能够高效地处理大规模的传感器数据，且在分析数百万数据点时不出现性能问题。
- 没有解决我的问题, 去提问
