有一个需求,做一个winform自动扫描程序,从一个数据库扫描数据然后添加到另外一个系统的数据库里,变化最大的是对源数据库的查询条件会变化,初步思路是扫描程序里弄一个sqlite3数据表,记录已扫描的程序,但是这样有一个缺点就是:假如源数据表有100万条满足查询条件,其中99%的已经扫描处理过了,扫描程序怎么能一下就筛选出没有处理过的数据,难道要对这100万条数据一页一页在扫描程序里判断是否扫描过吗,这样就不能及时处理数据,大部分时间在过滤,而且sqlite3能否支持百万或更高的数据量?
1条回答
- david_zhang228 2016-09-09 09:14关注
我虽然不是太明白的你的需求,但是有一些方法看看能不帮助你
1. SQLite3 支持百万级别的是没有任何问题的,主要的是SQLite3 是文件数据库,bottleneck 是你的disk IO
比喻SSD 和普通sata 是有很大的区别的
2. 我感觉你说的有问题啊,已经扫描过的,为啥还会满足的查询条件,你可以在table 中设置一个column 标志已经被scan 过啊解决 无用评论 打赏 举报