在项目中遇到一个问题,需求是这样的:
数据库中一张表,有几十万条用户记录,要求每隔一段时间(不能超过一个小时)就从这些数据中抓取一部分出来(大约1000条),要确保用户记录能均匀的被抓取到。
我现在的做法是,启用一个定时程序,每隔10分钟就从数据库里面随机抓取500条记录。但是好像不能做到均匀。
另外还要考虑下性能问题,数据库为mysql
有什么好的方法能确保均匀?
问题补充
bureaucrat 写道
问题是:你怎么判断的不均匀?
测试的结果能看出来,定时器运行了3天
抓取的情况是,有的记录被抓到很多次,有的记录一次都没有被抓到,我希望能够尽量均匀的分配