最想项目碰到一个问题,希望大家给个思路

需求是这样的:
统计广告的展示量,点击量,独立ip展示量,独立ip点击量

    现在的方法是
           点击时 请求接口,后台判断当前ip 当前广告id 当前日期 是否在数据库中有数据
                 没有数据插入
                这个方法导致数据库中的数据量每日增加在120w左右
    有什么方法可以改进吗?
0

6个回答

重复一下你的需求:
前端客户端会请求后台接口要展示广告列表,服务器端这时候把数据拼装好把广告信息返回,在这个时候服务器端可以拿到用户的ip地址和广告列表,现在希望按照ip为维度统计。
如果希望查询pv记录,需要将所有的记录全部存下,然后统计,优化方案只把这些数据库操作异步化,给两个思路:
1、本地创建线程池,一旦消息来了,直接投递到队列,然后生产者消费者处理就可以解决
2、使用消息队列异步化
3、将数据打入到日志异步化,然后使用logstah处理

如果产品经理希望实时查询uv,不要pv,这时候可以做相关优化
1、使用布隆过滤器,在前面拦截一道,毕竟二八准则,这一步就可以拦截很多请求
2、数据库层面优化,一天120W,这个量不算大,还是有优化方案
2.1 数据库索引所以必须要加,而且根据你的需求,需要ip + 广告id联合索引
2.2 如果前端显示统计对实时要求是不是特别搞,建议批量插入数据,这样可以减小对mysql的压力
2.3 如果mysql确实hold不住,可以换成hbase或者mongo

1

如果是这样把ip放到内存中,java用hashmap存储,这样更新判断不需要查库,速度很快,你知道定时将点击数入库就行了

2
qq_36949630
qq_36949630 集群...本来单机用guava来弄得
大约一年之前 回复

比如把记录到数据库中,搞成文件存放起来,文件目录按照日期进行动态创建,广告点击的时候就往对应的日期中写入一个文件,然后后台有一个专门的解析统计程序,将每天的量统计完后写入表格内的一条数据即可;
解释过后的文件,可以将该文件移动到当前文件的备份目录下即可

0
  • - 不是ip 是统计广告的点击 展示 点击时根据ip来判断 数据库中当日是否存在点击过,没有点击才会新增 不需要长时间保存 保存一天就可以
0
Lei_Da_Gou
Lei_Da_Gou 回复qq_36949630: 3.
大约一年之前 回复
Lei_Da_Gou
Lei_Da_Gou 回复weixin_40852944: 12
大约一年之前 回复
qq_36949630
qq_36949630 回复weixin_40852944: 还有没有别的方法 不存库的,mysql 定时任务不稳定,
大约一年之前 回复
weixin_40852944
weixin_40852944 存库你存一天不是也可以删掉吗?
大约一年之前 回复

当前日期应该是维度字段,然后IP和id组合,加入有两个id,一个IP最多能组合两条数据。

0

你们这是什么网站一天新增的ip就有120w,如果这种数量很大的话又需要长时间保存的可以考虑hbase进行存储

-1
zhaomin_g
_赵明 回复qq_36949630: 是否可以把用户点击的次数保存到session,等用户session销毁的时候将点击次数入库?
大约一年之前 回复
qq_36949630
qq_36949630 - 不是ip 是统计广告的点击 展示 点击时根据ip来判断 数据库中当日是否存在点击过,没有点击才会新增 不需要长时间保存 保存一天就可以
大约一年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!