Roinging 2019-03-22 13:14 采纳率: 0%
浏览 434
已结题

python scrapy爬虫框架数据库数据量无法增加

python 3.6 ，scrapy爬虫框架，mysql数据库，workbench界面。
第一次运行捕获2w条数据，第二次运行的时候，确定可以获取目标网页新的数据，数据库也显示了新的数据库更新时间，但是数据总量却一直不变，新数据无法写入
请问有朋友遇到过这样的问题吗？

  • 写回答

1条回答 默认 最新

  • gammey 2019-03-22 17:47
    关注

    你的SQL语句是怎么写的，然后表结构是什么样的？
    根据我估计可能是表的主键重复导致数据无法插入

    评论

报告相同问题？

悬赏问题

  • ¥15 LiBeAs的带隙等于0.997eV,计算阴离子的N和P
  • ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 matlab有关常微分方程的问题求解决
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab，jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算
  • ¥15 java如何提取出pdf里的文字？
  • ¥100 求三轴之间相互配合画圆以及直线的算法