最想项目碰到一个问题,希望大家给个思路

Question

需求是这样的:
统计广告的展示量,点击量,独立ip展示量,独立ip点击量

    现在的方法是
           点击时 请求接口,后台判断当前ip 当前广告id 当前日期 是否在数据库中有数据
                 没有数据插入
                这个方法导致数据库中的数据量每日增加在120w左右
    有什么方法可以改进吗?

Answer 1

重复一下你的需求：
前端客户端会请求后台接口要展示广告列表，服务器端这时候把数据拼装好把广告信息返回，在这个时候服务器端可以拿到用户的ip地址和广告列表，现在希望按照ip为维度统计。
如果希望查询pv记录，需要将所有的记录全部存下，然后统计，优化方案只把这些数据库操作异步化，给两个思路：
1、本地创建线程池，一旦消息来了，直接投递到队列，然后生产者消费者处理就可以解决
2、使用消息队列异步化
3、将数据打入到日志异步化，然后使用logstah处理

如果产品经理希望实时查询uv，不要pv，这时候可以做相关优化
1、使用布隆过滤器，在前面拦截一道，毕竟二八准则，这一步就可以拦截很多请求
2、数据库层面优化，一天120W，这个量不算大，还是有优化方案
2.1 数据库索引所以必须要加，而且根据你的需求，需要ip + 广告id联合索引
2.2 如果前端显示统计对实时要求是不是特别搞，建议批量插入数据，这样可以减小对mysql的压力
2.3 如果mysql确实hold不住，可以换成hbase或者mongo