Liu243531 2016-09-08 10:20 采纳率: 0%
浏览 816

自动扫描数据库程序，怎么实现

有一个需求，做一个winform自动扫描程序，从一个数据库扫描数据然后添加到另外一个系统的数据库里，变化最大的是对源数据库的查询条件会变化，初步思路是扫描程序里弄一个sqlite3数据表，记录已扫描的程序，但是这样有一个缺点就是：假如源数据表有100万条满足查询条件，其中99%的已经扫描处理过了，扫描程序怎么能一下就筛选出没有处理过的数据，难道要对这100万条数据一页一页在扫描程序里判断是否扫描过吗，这样就不能及时处理数据，大部分时间在过滤，而且sqlite3能否支持百万或更高的数据量？

  • 写回答

1条回答 默认 最新

  • david_zhang228 2016-09-09 09:14
    关注

    我虽然不是太明白的你的需求，但是有一些方法看看能不帮助你
    1. SQLite3 支持百万级别的是没有任何问题的，主要的是SQLite3 是文件数据库，bottleneck 是你的disk IO
    比喻SSD 和普通sata 是有很大的区别的
    2. 我感觉你说的有问题啊，已经扫描过的，为啥还会满足的查询条件，你可以在table 中设置一个column 标志已经被scan 过啊

    评论

报告相同问题？

悬赏问题

  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗？
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥15 stable diffusion
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题：求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab，jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误